Scala+Spark:对文件进行滤重

需求来源:有俩文件,里面存着很多公司信息,但是有重复的,由于数据量太大,因此,决定写个小脚本,用spark跑一下

先看一下文件格式,origin为原始公司信息数据,spider为爬虫抓取的数据


整体逻辑:

文件求并集 ==> map 对公司名做hash用以做索引 ==> 根据公司名的hash值做groupby,取首位数据 ==> 保存文件

1、主文件:



2、工具包:

processinfo:


关于company.scala中滤重:


阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Topkipa/article/details/80689742
个人分类: scala 大数据
想对作者说点什么? 我来说一句

java对txt文件滤重

2013年01月22日 2KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭