Spark Transformation系列
贾红平
本人喜欢技术,一致从事于大数据搜索推荐系统架构及其相关工作,最近几年开始熟悉人工智能和机器学习领域,擅长高可用高并发系统架构设计..技术的追求从没有停止过..
展开
-
spark基础transformation
本文章主要通过java实现spark常用transformation1 map算子案例/** * map算子案例:将集合中每一个元素都乘以2 */ private static void map() { // 创建SparkConf SparkConf conf = new SparkConf() .setAppName("map") .setM...原创 2018-04-15 13:55:45 · 133 阅读 · 0 评论 -
spark scala-transformation基础操作
本文章主要通过scala实现spark的transformation的常用功能:1 map算子2 flatMap算子3 sortByKey算子4 join算子5 filter算子import org.apache.spark.SparkConf import org.apache.spark.SparkContext /** * @author jhp */ object Transform...原创 2018-04-18 09:52:15 · 269 阅读 · 0 评论