02hadoop和flink集群分布

hadoop与flink集群分布基本命令

1 hadoop集群分布部署

11 hadoop2.7.5与jdk的安装

111 安装hadoop
sudo tar -zxf ~/Downloads/hadoop-2.7.5.tar.gz -C /usr/local  # 解压
cd /usr/local
sudo mv <hadoopName> hadoop  # 修改hadoop目录名字
sudo chown -R hadoop:hadoop ./hadoop  # 修改hadoop权限
gedit ~/.bashrc  # 增加环境变量
	export HADOOP_HOME=/usr/local/hadoop
	export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
112 安装jdk1.8
sudo tar -xvf ~/Downloads/jdk-8u341-linux-x64.tar.gz -C /usr/lib/jvm  # 解压
cd /usr/lib/jvm
sudo mv <jdkName> jdk1.8  # 修改jdk目录名
gedit ~/.bashrc  # 增加环境变量
	export JAVA_HOME=/usr/lib/jvm/jdk1.8
	export JRE_HOME=${JAVA_HOME}/jre
	export CLASSPATH=${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=$JAVA_HOME/bin:$JRE_HOME/bin

12 hadoop2.7.5配置

参考:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

其中的“Hadoop伪分布式配置”板块

13 hadoop2.7.5集群启动

start-all.sh  # 启动集群
jps  # 检查是否启动成功

2 flink计算集群分布部署

21 flink1.11.2安装

sudo tar -zxvf ~/Downloads/flink-1.13.0-bin-scala_2.12.tgz -C /usr/local/  # 解压
cd /usr/local/
sudo mv <flinkName> flink  # 修改名字
gedit ~/.bashrc  # 修改环境变量
	export FLINK_HOME=/usr/local/flink
	export PATH=$FLINK_HOME/bin
sudo chown -R hadoop:hadoop ./flink  # 给文件夹授权
chmod u+x *  # 将bin下所有文件授权

22 link1.11.2配置

flink/conf/flink-conf.yaml中将 jobmanager.rpc.address设置为主节点机器的主机名或者ip
flink/conf/masters  中设置主节点机器的host:8081或者ip:8081
flink/conf/slaves   中设置子节点机器的host或者ip

23 flink1.11.2集群启动

start-cluster.sh   # 开启集群,注意所有的机器都需要进行开启
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GEEK零零七

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值