网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
遇到困难的时候暂时放一放,第二天的时候,就再也想不起来了。
第16题:Python数据清洗转换
需求列表
1. Python数据清洗转换
数据分析师小 Q 收到一份微信用户行为 log 文件,文件中每一行包含三列 (ftime, event_code, event_value) 数据样例如下:
2020-01-18 19:02:48 | view_article | A1=wxid123&A3=post123&A4=1282&A5=
2020-01-18 19:02:48 | comment_article | A1=wxid123&A3=post123&A4=1282&A5=
说明:
第一列 ftime 记录了用户行行为时间例如 2020-01-18 19:02:48
第二列 event_code 记录了用户事件id, 例如 ‘view_article’ = 阅读文章,
‘comment_article’ = 评论文章
第三列 event_value 记录了事件详情,例如 ‘A1=wxid123&A3=post123&A4=1&A5=’ A1 表示用户 ID
A3 表 示 文 章 ID
A4 表示文章类型
请帮助小 Q 实现一个函数,从文件中提取出用户阅读文章的行为字段(时间,用户ID,文章 ID)
思路分析
使用PySpark读取微信日志数据,并对数据进行转换和清洗,最终将清洗后的结果RDD保存到HDFS中。在if name == ‘main’:代码块中,先创建了一个SparkConf配置对象和一个SparkContext上下文对象,然后使用SparkContext上下文对象从本地文件系统中读取微信日志数据,并将每行数据作为RDD的一个元素。接着定义了一个函数data_wash用于将每行日志数据进行转换清洗,并返回清洗后的结果。最后,使用RDD的map函数将原始日志数据RDD中的每个元素都应用data_wash函数进行清洗和转换,得到清洗后的结果RDD,并将结果RDD保存到HDFS中。最后,使用SparkContext的stop函数关闭SparkContext上下文对象,释放资源。
答案获取
建议你先动脑思考,动手写一写再对照看下答案,如果实在不懂可以点击下方卡片,回复:大厂sql
即可。
参考答案适用HQL,SparkSQL,FlinkSQL,即大数据组件,其他SQL需自行修改。
加技术群讨论
点击下方卡片关注 联系我进群
或者直接私信我进群
文末SQL小技巧
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**