scala
穿裤衩的文叔
这个作者很懒,什么都没留下…
展开
-
Scala Trait与抽象类
Scala Trait(特征或者特质)类似于java、C#中的接口,但是,Scala支持部分实现,也就是说你可以在其中实现部分方法Scala抽象类不能被实例化,包含若干定义不完全的方法,具体的实现由子类去实现。那么什么时候应该使用特征什么时候又该使用抽象类呢?1、优先使用特质。一个类扩展多个特质是很方便的,但却只能扩展一个抽象类。2、如果你需要构造函数参数,使用抽象类。因为抽象类可以定义带参数的构...原创 2018-04-04 13:53:59 · 1168 阅读 · 0 评论 -
Scala+Spark:对文件进行滤重
需求来源:有俩文件,里面存着很多公司信息,但是有重复的,由于数据量太大,因此,决定写个小脚本,用spark跑一下先看一下文件格式,origin为原始公司信息数据,spider为爬虫抓取的数据整体逻辑:文件求并集 ==> map 对公司名做hash用以做索引 ==> 根据公司名的hash值做groupby,取首位数据 ==> 保存文件1、主文件:2、工具包:processinfo:...原创 2018-06-14 11:20:52 · 1521 阅读 · 0 评论