![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
小夙o
这个作者很懒,什么都没留下…
展开
-
Spark 中文文档
https://blog.csdn.net/u012185296/article/details/76855770转载 2018-07-24 11:29:31 · 1913 阅读 · 0 评论 -
Spark常用算子讲解
https://blog.csdn.net/dream0352/article/details/62229977翻译 2018-07-24 19:45:35 · 193 阅读 · 0 评论 -
spark架构原理之Driver,Master,Worker,Executor,Task执行流程!粗略的见解!
先从执行的spark程序开始讲吧!1.一般来讲我们编写的Spark程序就是在Driver上由Driver进程执行Driver进程启动以后就会做一些初始化操作,在这个过程中,就会发送请求到Master上进行Spark应用程序的注册,其实就是告诉Master,有一个新的Spark程序要跑起来,2.一般来讲学习的集群为三个,其中第一个成为Master,对,就是第一个节点Master其实就是...原创 2018-07-22 23:20:42 · 1850 阅读 · 1 评论 -
spark常用算子总结之transformation类常用的算子
一下内容都是个人在实践当中的个人见解! 1.map();//将集合的每一个元素乘以2,其实就是得到整个并行化集合的迭代式的执行计算,比如:将集合的每一个元素乘以2 2.filter();// 过滤掉集合中的偶数,或是奇数,返回值是boolean, v1 % 2 == 0;//等于0就是符合要求的偶数就会返回去,最后得到就是偶数 3. flatMap();//拆分算子,拆分...原创 2018-08-04 15:07:31 · 490 阅读 · 0 评论 -
Action的常用算子count(),task(),countByKey(),collect()....
action的常用算子 1.reduce(); // 首先将第一个和第二个元素,传入call()方法,进行计算,会获取一个结果,比如1 + 2 = 3 // 接着将该结果与下一个元素传入call()方法,进行计算,比如3 + 3 = 6 //这个是它实现的Function2<Integer, Integer,...原创 2018-08-04 17:21:25 · 877 阅读 · 0 评论 -
hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
https://blog.csdn.net/gamer_gyt/article/details/51758881转载 2018-08-09 08:44:30 · 2090 阅读 · 0 评论 -
使用Spark编程之分组排序取前3名----java代码实现
package cn.spark.study.core;import java.util.Arrays;import java.util.Iterator;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.Jav...原创 2018-08-07 09:28:42 · 1178 阅读 · 0 评论 -
Spark 运行架构核心理解总结
先讲下用到的关键词并附上个人的理解! 1 Application:(自己写的Spark程序)2 spark-submit:(Spark的提交方式有三种{1.yarn-cluster提交模式 2.yarn-client提交模式 3.Standalone})3.Driver:运行应用程序(Application)的main函数和创建SparkContext的程序。...原创 2018-08-07 21:22:05 · 185 阅读 · 0 评论