![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
XK&RM
这个作者很懒,什么都没留下…
展开
-
Spark总结
Spark总结 一 .Spark介绍 二.Spark与MapReduce、storm的区别 三.RDD 1.RDD介绍 2.RDD五大特性 3.RDD创建 4.RDD转换和动作 5.RDD持久化 6.RDD序列化 7.RDD共享变量 四.Spark运行机制 五.SparkSQL 六.SparkStreaming...原创 2020-05-28 20:00:16 · 589 阅读 · 0 评论 -
Spark的部署和编译
一.下载Spark源码以及需要的一些软件 Spark 2.20源码包下载 http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz [xkhadoop@xkhadoop ~]$ wget http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz [xk...原创 2019-04-06 19:50:44 · 215 阅读 · 0 评论 -
深入理解RDD
GitHub中Spark地址:https://github.com/apache/spark GitHub中Spark-RDD地址:https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark/rdd <一>.什么是RDD: RDD(Resilient Distributed Da...原创 2019-04-06 21:27:15 · 199 阅读 · 0 评论 -
Hadoop生态圈常用端口
Hadoop生态圈常用端口 HDFS:50070 HDFSWEBUI端口:8020 HDFS内部端口:8088 Yarn的WEBUI接口:8032 NameNode:9000 .SecondaryNameNode:50090 DataNode:50010 历史服务器Web端口:19...原创 2019-05-15 21:24:12 · 246 阅读 · 0 评论