Flink
Allocator
FOCUS
展开
-
flink PojoCsvInputFormat 处理 csv 文件数据问题小结
背景使用flink DataStream api 来处理一批数据, 数据本身就是保存在csv文件里面, 需要将csv文件里面的每一行转换为相应的POJO实例, 查询flink提供的FileInputFormat相关的类和接口(PojoCsvInputFormat)可以完成从CSV到DataStream的转换.但是在使用这个类的时候遇到一些问题, 而且网上也没有相关的答案,本文把这些问题以及解决的办法记录下来,希望能给遇到相似问题的同学一些参考.准备工作首先是csv测试文件,这里简单的使用两个字段age原创 2020-07-15 11:30:28 · 1788 阅读 · 0 评论 -
Flink docker 容器运行环境下不能够从Web UI 查看 Logs 以及Stdout的解决办法
背景最近业务需要使用Flink, 于是把之前Flink的相关技术拿出来重新回顾一下, 于是想起这个之前一直没有去解决的问题. 本文主要讲解如何解决这一问题以及发生这个问题的根本原因.运行Flink 官方docker image此处不多说,访问docker hub flink官方的Image. 选择自己需要版本的flink官方镜像(此处我选的是flink:scala_2.11 因为要使用到scala shell所以选的scala版本不是最新的) 然后按照官方给的docker-compose 文件简单改动原创 2020-06-19 17:26:19 · 6961 阅读 · 13 评论