一、standalone 模式
1.1上传依赖包 打开配置文件
解压依赖包 通过文件传输工具上传到 opt目录下
[root@localhost ~]# cd /
[root@localhost /]# ls
bin boot dev etc home jdk lib lib64 media mnt mydata opt proc root run sbin srv swapfile sys tmp usr vagrant var
[root@localhost /]# cd opt/flink-1.10.1-bin-scala_2.12/
[root@localhost flink-1.10.1-bin-scala_2.12]# ls
flink-1.10.1
[root@localhost flink-1.10.1-bin-scala_2.12]# cd flink-1.10.1/
[root@localhost flink-1.10.1]# ls
bin conf examples lib LICENSE licenses log NOTICE opt plugins README.txt
[root@localhost flink-1.10.1]# vi conf/flink-conf.yaml
1.2 主要配置文件 flink-conf.yaml 中主要配置介绍
1.3 启动 及 jobmanager管理页面 显示
bin目录下
./start-cluster.sh 启动 该脚本会依赖其它脚本,如果没权限 那就 chmod 777 文件名
启动成功后访问当前机器 8081端口 这个是配置在master文件中的
访问成功页面如下
二、job的提交运行(前端页面方式)
把本地的maven项目编译打包,本地主要代码如下
package wcTest;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
public class FlinStreamSocketWordCountPrintTest {
public static void main(String[] args) throws Exception {
//get runtime environment
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//read content into dataset from file
DataStream<String> stringDataSet = env.socketTextStream(args[0],Integer.parseInt(args[1]));
//count word appeared times
DataStream<Tuple2<String, Integer>> sum = stringDataSet.flatMap((FlatMapFunction<String, Tuple2<String, Integer>>) (value, collector) -> {
String[] words = value.split(" ");
for (String word : words) {
collector.collect(new Tuple2<>(word, 1));
}
}).returns(Types.TUPLE(Types.STRING, Types.INT)).
keyBy(0).sum(1)
.setParallelism(2);
//print content of dataset
sum.print().setParallelism(1);
env.execute();
}
}
在flink前端首页 添加job 配置参数
可以看到各算子的并行度为下
并行度的优先度为 代码中的>启动job时的并行度设置,上图为3 > env配置的(没配置本地取cpu核数,linux取配置文件默认的1)
挨着的相同并行度的任务会被合并 如下图 source与 socketstream
启动任务时记得先开个linux窗口执行以下命令 模拟socket流
第一遍启动 一直在那转圈圈,发现 最大并行度为3 但是我的 slot总数就只有1 所以启动不了 等待足够的slot才能启动job 所以修改 配置文件中如下配置从 1 改为 4
再次启动 启动成功
1.3job的提交运行(命令行方式)
二、Yarn模式
上面的taslmanager,slots资源啥的都是配死的,下面的是为了资源的灵活调度 可以看看,需要时再去用