- 博客(2)
- 收藏
- 关注
RSS订阅原创 解决csv文件的换行问题
csv文件就是逗号分隔值(Comma-Separated Values)文件正如其名,文件中的内容以逗号为分割符而当其中某个字段,也就是某个单元格的内容需要换行的时候会在该字段上先用引号括起来,再使用\r\n来进行换行如图但我正在做的项目需要把csv文件导入hive进行数据分析所以不需要使用引号内加\r\n进行换行在我找了很多工具去解决的时候我看到了pandas,暗中庆幸我这学期有开pandas的课程其中具体的代码如下import pandas as pd#读取
2022-03-31 01:08:26
22196
原创 记录一次使用logstash将MySQL的数据同步至ElasticSearch
起因前几天了解到阿里出的canal可以将MySQL的数据通过伪装成从节点读取binlog的形式将数据进行增量更新,但是我今天在试验的时候失败了,也不知道是为什么,可能是版本的问题本次操作logstash与es的版本为7.15.1,操作平台为window10,mysql装在虚拟机里首先来看mysql的表设计,id为唯一主键,剩下的cname和sex均为varchar然后在es中创建索引PUT /mytest_user{ "settings": { "number_of_sh
2022-03-16 20:48:17
2946
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人