02hadoop和flink集群分布

hadoop与flink集群分布基本命令

1 hadoop集群分布部署

11 hadoop2.7.5与jdk的安装

111 安装hadoop

sudo tar -zxf ~/Downloads/hadoop-2.7.5.tar.gz -C /usr/local  # 解压
cd /usr/local
sudo mv <hadoopName> hadoop  # 修改hadoop目录名字
sudo chown -R hadoop:hadoop ./hadoop  # 修改hadoop权限
gedit ~/.bashrc  # 增加环境变量
	export HADOOP_HOME=/usr/local/hadoop
	export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

112 安装jdk1.8

sudo tar -xvf ~/Downloads/jdk-8u341-linux-x64.tar.gz -C /usr/lib/jvm  # 解压
cd /usr/lib/jvm
sudo mv <jdkName> jdk1.8  # 修改jdk目录名
gedit ~/.bashrc  # 增加环境变量
	export JAVA_HOME=/usr/lib/jvm/jdk1.8
	export JRE_HOME=${JAVA_HOME}/jre
	export CLASSPATH=${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=$JAVA_HOME/bin:$JRE_HOME/bin

12 hadoop2.7.5配置

参考：http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

其中的“Hadoop伪分布式配置”板块

13 hadoop2.7.5集群启动

start-all.sh  # 启动集群
jps  # 检查是否启动成功

2 flink计算集群分布部署

21 flink1.11.2安装

sudo tar -zxvf ~/Downloads/flink-1.13.0-bin-scala_2.12.tgz -C /usr/local/  # 解压
cd /usr/local/
sudo mv <flinkName> flink  # 修改名字
gedit ~/.bashrc  # 修改环境变量
	export FLINK_HOME=/usr/local/flink
	export PATH=$FLINK_HOME/bin
sudo chown -R hadoop:hadoop ./flink  # 给文件夹授权
chmod u+x *  # 将bin下所有文件授权

22 link1.11.2配置

flink/conf/flink-conf.yaml中将 jobmanager.rpc.address设置为主节点机器的主机名或者ip
flink/conf/masters  中设置主节点机器的host:8081或者ip:8081
flink/conf/slaves   中设置子节点机器的host或者ip

23 flink1.11.2集群启动

start-cluster.sh   # 开启集群，注意所有的机器都需要进行开启