- 博客(4)
- 收藏
- 关注
原创 Pandas大量Excel数据写入Mysql
项目场景:提示:这里简述项目相关背景:最近ETL数据处理中需要把100多个excel导入的数据库(MySQL),但是excel的列是不一样的,如果手工粘贴的话,需要很多时间还可能遗漏。例如:项目场景:示例:通过蓝牙芯片(HC-05)与手机 APP 通信,每隔 5s 传输一批传感器数据(不是很大)这些数据大小是200M内,100万行内问题描述提示:这里描述项目中遇到的问题:文件列数不同,且需要转换例如:这个16列的这个是17列的同时还有其它列数的文件,这里不再列出解决方案:提示:这
2022-04-14 18:40:19 4037
原创 spark scala 实时解析Json 数组
spark scala 实时解析Json 数组实时数据源Kafka 大数据接入实时数据早已大势已去,很多大厂更是实时数据常态化,但是最近发现网上并没有类似的数据处理过程推荐,这里是我结合工作场景写的一篇文章,有很多不足,烦请指正,谢谢 JSON数组是各个业务系统最喜欢生成的文件,平日里有许多log文件95%以上都是json格式的数据,最近SDK系统产生的数据放入kafka中,提供大数据中心来消费先看数据这是一个业务线每天产生的数据,数据在kafka中有同样的数据,这里使用flume备份到h
2021-01-29 16:10:07 1768
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人