- 博客(3)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Spark 中的二次排序Java实现
需求描述：对文本中数据记录进行排序，如果第一行数据记录相同，则根据第二行数据进行排序编程思想描述：首先，将需要将待排序的字段封装成一个类，该实现了Ordered和Serializable 接口，实现接口中的方法。同时为待排序的属性字段提供getter 、setter 、hashcode 以及 equals 方法。在application 应用程序中 将key 封装为之前我们定义好的对象，之后调用so
2016-09-16 16:54:15
1229
原创 Spark 中Transformation 、Action操作 以及RDD的持久化
1、常用的Transformation操作有 map、filter、flatMap、groupByKey、reduceByKey、sortByKey、join、cogroup 2、常用的Action操作有 reduce、collect、count、take、saveAsTextFile、countByKey、foreach 3、RDD的持久化原理 Spark非常重要的一个功能特性就是
2016-09-13 21:16:31
1373
原创 git 使用总结
1、使用git push origin -u master 将本地的仓库master分支和远程仓库master 分支关联 出现异常：$ git push origin -u master To git@github.com:JimGray11/Spark-study-java.git ! [rejected] master -> master (fetch first) err
2016-09-11 17:09:13
364
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人