- 博客(4)
- 收藏
- 关注
RSS订阅原创 Pandas大量Excel数据写入Mysql
项目场景：提示：这里简述项目相关背景：最近ETL数据处理中需要把100多个excel导入的数据库（MySQL），但是excel的列是不一样的，如果手工粘贴的话，需要很多时间还可能遗漏。例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)这些数据大小是200M内，100万行内问题描述提示：这里描述项目中遇到的问题：文件列数不同，且需要转换例如：这个16列的这个是17列的同时还有其它列数的文件，这里不再列出解决方案：提示：这
2022-04-14 18:40:19
4011
原创 spark scala 实时解析Json 数组
spark scala 实时解析Json 数组实时数据源Kafka 大数据接入实时数据早已大势已去，很多大厂更是实时数据常态化，但是最近发现网上并没有类似的数据处理过程推荐，这里是我结合工作场景写的一篇文章，有很多不足，烦请指正,谢谢 JSON数组是各个业务系统最喜欢生成的文件，平日里有许多log文件95%以上都是json格式的数据，最近SDK系统产生的数据放入kafka中，提供大数据中心来消费先看数据这是一个业务线每天产生的数据，数据在kafka中有同样的数据，这里使用flume备份到h
2021-01-29 16:10:07
1750
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人