spark
左岸Jason
这个作者很懒,什么都没留下…
展开
-
spark常用的Action算子
1.reduce(function) reduce将RDD中元素两两传递给输入函数,同时产生一个新值,新值与RDD中下一个元素再被传递给输入函数,直到最后只有一个值为止。 /** * Reduce案例 */ private static void reduce() { // 创建SparkConf和JavaSparkContext Spa...原创 2020-04-09 16:07:11 · 649 阅读 · 0 评论 -
spark常用的Transformation算子
1.map map的输入变换函数应用于RDD中所有元素。 /** * map算子案例,将集合中每一个元素乘以2 */ public static void map(){ //创建SparkConf SparkConf conf = new SparkConf().setAppName("map").setMaster("local"); ...原创 2020-04-08 15:43:07 · 137 阅读 · 0 评论 -
spark的简单应用(wordcount)
一、wordCount原理深度分析 二、代码实现 编写Spark应用程序,本地执行,是可以执行在eclipse中的main方法中,执行的 第一步:创建SparkConf对象,设置Spark应用的配置信息,使用setMaster()可以设置Spark应用程序要连接的Spark集群的master节点的url,但是如果设置为local则代表,在本地运行 SparkConf conf = new ...原创 2020-04-07 16:27:04 · 254 阅读 · 0 评论 -
spark运行流程概述
spark运行流程概述 用户通过spark-submit脚本提交应用 spark-submit脚本启动Driver驱动器程序,调用用户定义的main()方法并创建SparkContext.创建的目的是为了初始化Spark的运行环境。 Driver向ClusterManager申请资源以启动Executor执行器节点 ClusterManager为Dirver启动Executor Driver根...原创 2020-02-02 14:12:46 · 291 阅读 · 0 评论