Scala+Spark:对文件进行滤重

需求来源:有俩文件,里面存着很多公司信息,但是有重复的,由于数据量太大,因此,决定写个小脚本,用spark跑一下

先看一下文件格式,origin为原始公司信息数据,spider为爬虫抓取的数据


整体逻辑:

文件求并集 ==> map 对公司名做hash用以做索引 ==> 根据公司名的hash值做groupby,取首位数据 ==> 保存文件

1、主文件:



2、工具包:

processinfo:


关于company.scala中滤重:


阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Topkipa/article/details/80689742
个人分类: scala 大数据
上一篇hive数据同步(sqoop :Mysql ==>Hive,hive put 文件到hive)
下一篇python数据库连接池DBUtils
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭