java读取csv文件6,Flink使用java实现读取csv文件简单实例

本文介绍了如何使用Flink的Java API读取CSV文件,包括三种方法:第一种和第二种通过`types`指定数据类型,第三种通过定义POJO类`newPerson`接收数据。着重讲解了第三种方法,包括POJO类的定义和注意事项,并通过实例展示了如何忽略特定列。在实际运行中,若POJO类多定义了属性,Flink会默认赋值为0,可以通过重写`toString`方法避免这种情况。
摘要由CSDN通过智能技术生成

Flink使用java实现读取csv文件简单实例

首先咱们来看官方文档中给出的几种方法:

第一种:

DataSet> csvInput = env.readCsvFile(“hdfs:///the/CSV/file”)

.types(Integer.class, String.class, Double.class);java

第二种:

DataSet> csvInput = env.readCsvFile(“hdfs:///the/CSV/file”)

.includeFields(“10010”)

.types(String.class, Double.class);

第三种:

DataSet> csvInput = env.readCsvFile(“hdfs:///the/CSV/file”)

.pojoType(Person.class, “name”, “age”, “zipcode”);web

其中第一种和第二种比较相似,无非就是后面要使用types定义接受的数据类型,对于includeFields() 方法,里面有两种传参方式,一种是includeFields(“10010”),另外一种是includeFields(true,false。。。)。表示咱们对于这个文件须要第几列,就写上1或者true便可,可是必定要注意必定要对应上便可ide

这里咱们演示第三种,而且扩展一些参数的使用:

第三种是用一个POJO类型来接受数据,因此咱们必定先要定义一个POJO的类,这里有很坑爹的地方就是,咱们在定义属性以后,必定要加上这三个东西,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值