最近本人在学习Flink,Flink官网给我们提供了一些Connectors,这给我们提供了很多的便利。
一个实践性的应用就是使用MongoDB作为数据源,MySQL作为Sink进行操作,这样的话我们就需要将一些数据导入到MongoDB数据库中。
1.表头就是字段名
2.注意如果导入乱码的话,就先把数据导入到sqlserver,再从sqlserver导出,导出注意数字类型长于15的列需要设置为文本类型后从sqlserver复制粘贴到导出的csv文件
3.将csv文件导入到mongodb,注意将表头名改为我们需要的列名
mongoimport -d ymci -c user_card --type csv --headerline --file ./iris.csv
参数含义:
-d:指定把数据导入到哪一个数据库中
-c:指定把数据导入到哪一个集合中
–type:指定导入的数据类型 csv/tsv 逗号或者tab分割值
–file:指定从哪一个文件中导入数据
–headerline:仅适用于导入csv,tsv格式的数据,表示文件中的第一行作为数据头
–upsert:以新增或者更新方式导入数据
–f:导入字段名
–ingoreBlanks:忽略空白符
后面的完整项目流程作者将会继续更新博客文章,后续欢迎继续关注。