![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
kimsho29
学习分享HADOOP生态系统
展开
-
Spark框架简介
简介了解系统架构是第一件事,那么系统都由什么节点构成提供什么服务呢?框架 从框架图中可以看到 - 整个集群分为 Master 节点和 Worker 节点,相当于 Hadoop 的 Master 和 Slave 节点。 - Master 节点上常驻 Master 守护进程,负责管理全部的 Worker 节点。 - Worker 节点上常驻 Worker 守护进程,负责与 Master 节点通信转载 2016-04-17 23:31:15 · 3061 阅读 · 0 评论 -
Hive on Spark配置总结
Hive on spark原创 2016-06-04 14:13:11 · 7459 阅读 · 0 评论 -
SparkR安装部署及数据分析实例
转载自:http://www.cnblogs.com/payton/p/4227770.html 1. SparkR的安装配置 1.1. R与Rstudio的安装 1.1.1. R的安装 我们的工作环境都是在Ubuntu下操作的,所以只介绍Ubuntu下安装R的方法: 1) 在/etc/apt/sources.list添加源转载 2016-06-26 10:19:41 · 1342 阅读 · 0 评论 -
Spark在Yarn上的动态资源分配
参考地址:http://spark.apache.org/docs/1.5.2/job-scheduling.html#configuration-and-setup 1.配置hadoop/etc/yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle,spark_shuffle yar原创 2016-09-20 11:18:35 · 2405 阅读 · 0 评论