Flink安装
一、 下载
1.保证jdk1.8
2.匹配hadoop版本
二、 上传
三、 解压
tar xzf flink-1.4.0-bin-hadoop26-scala_2.11.tgz
四、 配置
进入conf目录
1. 配置flink-conf.yaml
基本配置:
jobmanager.rpc.address: master --jobManager 的IP地址
jobmanager.rpc.port: 6123 --jobManager 的端口,默认为6123
jobmanager.heap.mb --jobManager 的JVM heap大小
taskmanager.heap.mb --taskManager的jvm heap大小设置
taskmanager.numberOfTaskSlots --taskManager中taskSlots个数,最好设置成work节点的CPU个数相等
parallelism.default --并行计算数
fs.default-scheme --文件系统来源
fs.hdfs.hadoopconf: --hdfs置文件路径
jobmanager.web.port -- jobmanager的页面监控端口
内存管理:
Flink默认上分配taskmanager.heap.mb配置值得70%留它管理,内存的管理让flinK批量处理效果很高;并且flink不会出现OutMemoryException的问题,因为flink知道预留多少内存来执行程序;如果flink运行的程序所需要的内存超过了它所管理的内存,Flink就可以利用磁盘;总而言之,flink的内存管理提高了鲁棒性和系统的速度;下面就介绍管理内存的配置文件:
taskmanager.memory.fraction --管理内存的百分比,默认0.7
taskmanager.memory.size --taskManager 具体管理内存的大小;此配置重写taskmanager.memory.fraction的配置
taskmanager.memory.segment-size --内存管理器所使用的内存缓冲区的大小和网络堆栈字节
taskmanager.memory.preallocate --taskmanager是否启动时管理所有的内存
2. Slave配置
slaves 中配置节点机器的ip或主机名
五、 分发到其他节点
六、 启动
本文参考:
https://ci.apache.org/projects/flink/flink-docs-release-1.4/quickstart/setup_quickstart.html
http://blog.csdn.net/lisi1129/article/details/54846789?locationNum=2&fps=1