Flink入门之Standalone模式集群伪分布式搭建

 

1:首先配置Java相关环境以及Flink下载,解压就不说了。

2:接下来看看Flink的conf的配置文件:

                                                 

这里面需要我们配置的有:slaves和flink-conf.yaml文件,这里面masters文件是用来配置HA的,只要我们不配置HA的话,就不需要配置masters文件(flink也是master/slave结构,但是对于此时master的选择是执行启动脚本的机器为master)。但是slave需要我们配置,配置对应的主机名即可(伪分布式和分布式的区别也就是实际上slave节点的个数,以及分布式在多个节点上而已)。接下来需要我们配置的就是flink-conf.yaml,flink和spark还是有区别的,spark配置文件分spark-env.sh和spark-default.conf文件,而flink的配置都在flink-conf.yaml中完成配置。

 

 

我们挑重点参数进行说明:(这些文件配置最好看官网配置文档进行配置)

 

文档地址:https://ci.apache.org/projects/flink/flink-docs-release-1.2/setup/config.html#collapse-105

jobmanager.rpc.address: node  #配置JobManager进行RPC通信的地址,使用默认即可
jobmanager.rpc.port: 6123          #配置JobManager进行RPC通信的端口,使用默认即可
taskmanager.numberOfTaskSlots: 2  #配置每一个slave节点上task的数目
taskmanager.memory.preallocate: false  #配置是否在Flink集群启动时候给TaskManager分配内存,默认不进行预分配,这样在我们不适用flink集群时候不会占用集群资源
parallelism.default: 2  # 用于未指定的程序的并行性和其他并行性,默认并行度
jobmanager.web.port: 5566  #指定JobManger的可视化端口,尽量配置一个不容易冲突的端口
state.backend.fs.checkpointdir: hdfs://node:9000/flink-checkpoints #配置checkpoint目录
fs.hdfs.hadoopconf: /home/daxin/bigdata/hadoop/etc/hadoop/ #配置hadoop的配置文件
fs.hdfs.hdfssite: /home/daxin/bigdata/hadoop/etc/hadoop/hdfs-site.xml  #访问hdfs系统使用的

 

fs.default-scheme: hdfs://node:9000/   #设置默认文件系统,笔者在开始搭建集群时候由于没设置此项导致读“/word/hadoop.txt无法访问hdfs文件系统,默认值是本地文件系统

 

注意:flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格,否则配置不会生效。

更多配置请查看官网

 

3:接下来我们就可以启动Flink集群了,使用bin/start-cluster.sh完成启动。

                                  

然后jps查看一下进程:

 

5401 TaskManager

5085 JobManager

看见这两个进程就代表启动成功了。接下来就可以打开Web UI了:

 

4:最后我们可以启动一个shell连接到集群上运行一个job试一试了,可以使用start-scala-shell.sh启动shell控制台进行写程序,但是如果不跟参数的话,则启动的是一个本地的shell,所以我们需要输入我们的 Master URL,我们可以输入start-scala-shell.sh --help 看看脚本需要的参数:

 

所以我们输入:start-scala-shell.sh remote  node 6123启动一个集群Shell控制台:

 

 

接下来我们就可以写一个最简单的count程序了,统计输入元素的个数:

 

到此就完成了Flink的最简单配置!!!

 

 

评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值