【初学spark】pyspark进行json日志结构化
如题,磨蹭了好几天总算把这个需求整明白了,写篇笔记整理一下自己的思路,也希望能给大家带来帮助。
第一次看到json日志数据的我内心是崩溃的,但是不用担心,json日志每一条记录的存储都是遵循一定的结构规则,只要你是从生产化的hdfs上获取数据,相信也是这样的。
一上来就直接整代码不是一种良好的学习方式,因此在正式讲解如何将这种日志数据结构化之前,要先理解两种spark中的数据结构:RDD...
原创
2019-11-17 23:43:46 ·
376 阅读 ·
0 评论