[大数据技术与应用省赛学习记录四]——模块一（Flink安装配置）

大数据平台环境搭建——Flink

要求：flink on yarn

更详细的flink模式讲解

一、下载及安装Flink

[大数据技术与应用省赛学习记录一]——软件准备
压缩看参考前期hadoop与spark的相关博客
[大数据技术与应用省赛学习记录二]——模块一（HADOOP完全分布式集群搭建）
[大数据技术与应用省赛学习记录三]——模块一（SPARK安装配置）

二、配置文件

因为比赛要求是flink on yarn模式，所以主要配置的是yarn上的文件
1.yarn-site.xml
全部参数配置已经在hadoop分布式的博客中写道。

过程中遇到的问题：
问题1：指令错误/物理内存设置错误

cd /software/flink
bin/flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 4096 ./examples/streaming/WordCount.jar

出现：Could not build the program from JAR file.修改为以下命令即可

cd /software/flink
bin/flink run -m yarn-cluster -d ./examples/streaming/WordCount.jar

问题二
Flink集群启动报错

org.apache.flink.client.deployment.ClusterDeploymentException
Current usage: 75.1 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memor
y used. Killing container.

原因:容器内存不够
解决方案
修改/hadoop/yarn-site.xml文件

<property> 
    <name>yarn.nodemanager.vmem-check-enabled</name> 
    <value>false</value> 
</property> 
    <property>
       <name>yarn.nodemanager.vmem-pmem-ratio</name>
       <value>3.1</value>#写大一点
    </property>

本期的Flink安装配置就先写到这里啦，有什么错误及添加的地方欢迎大家评论或者私信我，我会持续更新的。