![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink学习
flink学习记录
我是方小磊
这个作者很懒,什么都没留下…
展开
-
flink读取csv文件报错 Line could not be parsed: 'xxx ' ParserError NUMERIC_VALUE_ILLEGAL_CHARACTER
在使用flink读取csv文件时,发现读取文件报错:Line could not be parsed: 'xxx ’ ParserError NUMERIC_VALUE_ILLEGAL_CHARACTER之后查阅资料这种情况应该是我们的csv文件的内容格式有问题,csv文件中的数据用逗号作为分隔符,并且不可以有空格,我是在excel中写的内容,然后保存的csv文件,这就导致我在excel中的小...原创 2020-01-20 13:59:11 · 1519 阅读 · 1 评论 -
Flink Table&SQL API的简单使用
1.需求从csv文件中读取数据并保存为数据表执行sql语句进行查询并输出2.分析程序运行步骤获取flink的执行环境,我们这里用的是批处理的执行环境获取table的执行环境,这里也获取的是批处理的执行环境从csv文件中读取数据,以POJO的形式接收,返回DataSet对flink如何从csv文件读取数据不清楚的朋友可以看我这篇博客!https://blog.csdn.net/...原创 2020-01-20 15:12:06 · 590 阅读 · 0 评论 -
Flink实现往mysql中存储数据
1.需求任务需求:从socket中获取数据,数据的每条类型为int,String,int,对应着每一位学生的id,姓名和年龄将每条数据转成一个Student对象自定义数据输出,输出到mysql中2.代码实现代码一共分为两部分:第一部分是主程序,主要的作用是接受数据,将数据流转成student对象第二部分是自定义DataSink,也就是最后调用的new SinkToMysql(...原创 2020-01-19 11:03:55 · 1787 阅读 · 0 评论 -
Flink实现计数器
一种错误的实现方式:这个下面就是一种错误的实现方式,首先定义数据源,其中有五个单词,然后进行数据处理,map里面实现了RichMapFunction接口,重写map方法,先定义一个计数器counter为0,每读一个单词,counter加一,就把这个单词变为counter进行输出,这里设置的并行度为1,输出结果是1,2,3,4,5但是当我们将并行度设置为2的时候,输出变成了1,2,3,1,2 其实...原创 2020-01-15 13:30:40 · 1845 阅读 · 1 评论 -
Flink使用java实现读取csv文件简单实例
Flink使用java实现读取csv文件简单实例首先我们来看官方文档中给出的几种方法:首先我们来看官方文档中给出的几种方法:第一种:DataSet<Tuple3<Integer, String, Double>> csvInput = env.readCsvFile(“hdfs:///the/CSV/file”).types(Integer.class, Strin...原创 2019-11-22 15:35:50 · 5122 阅读 · 2 评论