QYHuiiQ
谁动了我的代码
展开
-
Flink DataStream之输出数据到File中
正在写入的文件会有inprogress的标识(在指定的目录下生成文件时会按照日期的年月日时进行分目录,因为我在执行时的时间是2023/7/12 22点,所以它就会自动生成一个2023-07-12--22目录,分桶策略也可以自己在代码中配置。原创 2023-07-12 22:11:10 · 1025 阅读 · 0 评论 -
Flink DataStream之Connect合并流
此时在窗口中输入数据,注意在7777端要输入数字,8888端输入字符串,然后观察控制台输出。原创 2023-07-09 17:42:07 · 934 阅读 · 0 评论 -
Flink DataStream之Union合并流
【代码】Flink DataStream之Union合并流。原创 2023-07-09 16:11:05 · 797 阅读 · 0 评论 -
Flink DataStream之使用filter实现分流
可以看到输入的"World"由于不满足两个filter中的任何一个,所以数据被舍弃。"Monday"和"World"分别打印在两个不同的流中。原创 2023-07-09 14:30:14 · 807 阅读 · 0 评论 -
Flink DataStream之从Kafka读数据
如图说明flink从kafka成功读取数据。原创 2023-07-04 22:28:42 · 864 阅读 · 0 评论 -
Flink读取kafka数据报错
【代码】Flink读取kafka数据报错。原创 2023-07-04 22:26:49 · 2924 阅读 · 0 评论 -
Flink DataStream之从集合/文件读数据
【代码】Flink DataStream之从集合/文件读数据。原创 2023-06-24 22:01:44 · 472 阅读 · 0 评论 -
Flink DataStream之创建执行环境
【代码】Flink DataStream之创建执行环境。原创 2023-06-24 17:47:52 · 307 阅读 · 0 评论 -
Flink 1.17.0集群搭建
修改hadoop02和hadoop03的conf/flink-conf.yaml中的taskmanager.host,改为当前各自的主机名。修改conf/flink-conf.yaml(从flink1.16版本开始,需要修改以下配置)然后将hadoop01节点上的flink包分发至hadoop02和hadoop03。修改conf/workers(将三台TaskManager节点加进来)修改conf/masters(将JobManager节点加进来)原创 2023-06-10 16:09:46 · 2659 阅读 · 1 评论 -
以Yarn模式启动Flink报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/ex
下载对应的jar,按照Hadoop的版本(我的是2.7.5)下载。然后放到Flink的lib目录下。原创 2023-04-06 21:58:46 · 1051 阅读 · 2 评论 -
Flink入门WordCount无界流处理实现
由于同一条数据中的word是并行运算的,所以同一条数据的word的输出结果也是乱序的。原创 2023-04-04 22:09:15 · 248 阅读 · 0 评论 -
Flink入门WordCount有界流处理实现
与之前批处理的运行结果相比,这里可以发现有的word出现了多次,这正是体现了流处理按照流的方式一条一条处理的,所以每次处理后都会有一个结果输出。在使用IDEA运行该程序时,它会以多线程的方式模拟Flink集群的工作机制并行计算(并行数默认是本机CPU核心数,假设CPU核心数是8,那么最前面的数字就只会出现1-8),每行结果最前面的数字表示哪个线程负责的此次运算。基于多线程并行运算,所以计算输出的结果并没有按照原始数据文件的word顺序进行输出,所以运算结果看到的就是乱序的。原创 2023-04-04 21:42:35 · 159 阅读 · 0 评论 -
Flink入门WordCount批处理实现
【代码】Flink入门WordCount批处理实现。原创 2023-04-04 20:58:21 · 140 阅读 · 0 评论