一、部署说明
flink是apache一款大数据实时计算应用,在生产环境中,用来实时计算应用产生的日志,数据等,满足预警,入库等需求
二、系统环境
- 系统版本:centos 7.2
- java版本: jdk 1.8.0_161
- zookeeper版本: zookeeper-3.4.9
- hadoop版本: Hadoop-2.8.3.tar.gz
- flink版本: flink-1.4.0
四个机器,其中192.168.3.60作为flink 的master,也就是jobmanager,其它三个机器作为taskmanager
三、准备部署
1、关闭selinux
sed ‘s/SELINUX=enforcing/SELINUX=disabled/‘ /etc/selinux/config
2、关闭防火墙
firewall-cmd --state #查看防火墙状态
systemctl stop firewalld.service #停用firewall
systemctl disable firewalld.service #禁止防火墙开机启动
init 6 #重启主机,然后再输入第一条命令查看防火墙状态
3、安装jdk1.8
由于centos7.2自带jdk,但是是sun公司的jdk,一般我们都是用自己的jdk包,所以先卸载
rpm -qa | grep java | xargs rpm -e --nodeps
#根据java关键词找出对应包,然后卸载
4、创建普通用户以及设置应用目录
mkdir -p /app/appflink #创建用户目录
useradd -d /app/appflink appflink
passed appflink #设置密码
5、以普通用户上传程序包到上面配置的用户目录,配置变量
cd /app/appflink
tar zxvf jdk-8u101-linux-x64.tar.gz #解压到用户目录
vi vi ~/.bash_profile
配置如下:
export PS1='[\u@\h \w]'
export JAVA_HOME=/app/appflink/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
6、配置master免密码登陆其余机器
CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释,每台服务器都要设置,
RSAAuthentication yes
PubkeyAuthentication yes
输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,在用户根目录就会生成.ssh文件夹,每台服务器都要设置
进入用户根目录下面的认证文件夹
cd ~/.ssh/
#合并公钥到authorized_keys文件,在flink-master服务器,通过SSH命令合并
cat id_rsa.pub>> authorized_keys
ssh appflink@192.168.3.61 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh appflink@192.168.3.62 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh appflink@192.168.3.63 cat ~/.ssh/id_rsa.pub>> authorized_keys
四、部署zookeeper集群
这里我们使用,192.168.3.61, 192.168.3.62, 192.168.3.63
cd ./bin/zookeeper-3.4.9/conf #这里进入配置目录
mv zoo_sample.cfg zoo.cfg
#修改主要配置,
dataDir=/app/appflink/bin/zookeeper-3.4.9/data
dataLogDir=/app/appflink/bin/zookeeper-3.4.9/log
#最后一行添加,使用三个机器组合集群
server.1=flink-slave1:2888:3888
server.2=flink-slave2:2888:3888
server.3=flink-slave3:2888:3888
#修改hosts,ip和主机名自定义
cat /etc/hosts
192.168.3.60 flink-master
192.168.3.61 flink-slave1
192.168.3.62 flink-slave2
192.168.3.63 flink-slave3
#创建数据目录,日志目录,写入自身id
mkdir -p /app/appflink/bin/zookeeper-3.4.9/data
mkdir -p /app/appflink/bin/zookeeper-3.4.9/log
vi /app/appflink/bin/zookeeper-3.4.9/data/myid
#这里id要注意,要和zoo.cfg配置里的1,2,3对应,然后分别写入1,2,3,内容就一个id就好了
#启动zookeeper,三个机器依次启动
cd /app/appflink/bin/zookeeper-3.4.9/bin
./zkServer.sh start
./zkServer.sh status #查看状态,正常情况下,应该是flower或者leader
五、部署hadoop
修改hadoop配置文件
vi hadoop-env.sh
在25位置,配置如下
export JAVA_HOME=/app/appflink/jdk1.8.0_101
创建hadoop需要的目录
mkdir -p /app/appflink/data/hadoop/hdfs/name
mkdir -p /app/appflink/data/hadoop/hdfs/data
mkdir -p /app/appflink/data/hadoop/tmp
vi hdfs-site.xml
配置如下:
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/app/appflink/data/hadoop/hdfs/name</value>
<!--HDFS namenode数据镜象目录-->
<description> </description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/app/appflink/data/hadoop/hdfs/data</value>
<!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 -->
<description> </description>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>flink-master:50070</value>
<!---HDFS Web查看主机和端口-->
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>flink-master:50090</value>
<!--辅控HDFS web查看主机和端口-->
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
<!--HDFS数据保存份数,通常是3-->
</property>
<property>
<name>dfs.datanode.du.reserved</name>
<value>1073741824</value>
<!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes-->
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
<!--HDFS数据块大小,当前设置为128M/Blocka-->
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
<!-- HDFS 关闭文件权限 -->
</property>
//vi cre-site.xml
配置内容如下
<property>
<name>fs.defaultFS</name>
<value>hdfs://flink-master:9000</value>
<!--hadoop namenode 服务器地址和端口,以域名形式-->
</property>
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>1800</value>
<!-- editlog每隔30分钟触发一次合并,默认为60分钟 -->
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天,默认为0。-->
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/app/appflink/data/hadoop/tmp</value>
<!-- Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.-->
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
<!-- 流文件的缓冲区-->
</property>
配置mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置yarn-site.xml,内容如下
<property>
<name>yarn.resourcemanager.address</name>
<value>flink-master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>flink-master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>flink-master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>flink-master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>flink-master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
配置hadoop环境变量
set hadoop path
#添加如下配置
export HADOOP_HOME=/app/appflink/hadoop-2.8.3
export PATH=$PATH:$HADOOP_HOME/bin
#确认生效
cd /app/appflink/hadoop-2.8.3/etc/hadoop
source hadoop-env.sh
hadoop Version
#格式化数据目录,只需要一次,下次启动不再需要格式化,只需start-all.sh
hadoop namenode -format
#启动hadoop
cd /app/appflink/hadoop-2.8.3/sbin
./start-all.sh
#使用jsp查看进程是否都启动了,然后我们可以登陆web控制台创建目录节点
六、搭建flink集群
#编辑flink-conf.yaml文件
vi flink-conf.yaml
#主要内容如下:
jobmanager.rpc.address: 192.168.3.60 #job进程监听的地址
fs.hdfs.hadoopconf: /app/flink/hadoop/conf/ #高可用时候,hadoop配置地址
high-availability: zookeeper #使用zk实现高可用
#下面两个目录需要在hadoop上面创建,分别是/flinkshare/ha, /ZooKeeper/ha
high-availability.storageDir: hdfs://flink-master:9000/flinkshare/ha/
recovery.zookeeper.storageDir: hdfs://flink-master:9000/ZooKeeper/ha/
#通过zk来选举
high-availability.zookeeper.quorum: flink-slave1:2181,flink-slave2:2181,flink-slave3:2181
#编辑master文件,写入两个机器ip和端口
192.168.3.60:8081
192.168.3.61:8081
#编辑slaves文件,写入所有task进程机器
flink-slave1
flink-slave2
flink-slave3
#编辑zoo.cfg,将机器列表填入
server.1=flink-slave1:2888:3888
server.2=flink-slave2:2888:3888
server.3=flink-slave3:2888:3888
#将文件通过scp拷贝到其它机器
scp -r /app/appflink/bin/flink-1.4.0 appflink@192.168.3.61:/app/appflink/bin/
scp -r /app/appflink/bin/flink-1.4.0 appflink@192.168.3.62:/app/appflink/bin/
scp -r /app/appflink/bin/flink-1.4.0 appflink@192.168.3.63:/app/appflink/bin/
#接下来,启动flink集群
cd /app/appflink/bin/flink-1.4.0/bin
./start-cluster.sh cluster start
#登陆web控制台,http://192.168.3.60:8081,正常情况下,就能看到3个taskmanager,2个jobmanager
#为了验证高可用,可以随便结束一个jobmanager进程,看看是不是都能访问