![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 78
盐神
资深菜鸟
展开
-
Hadoop/MapReduce性能优化------参数调优
Hadoop/MapReduce参数调优Hadoop性能优化涉及以下几个方面:1. CPU利用率2. 内存占用情况3. 磁盘I/O4. 网络流量 与工作负载相关的Hadoop性能优化需要关注以下三个方面:系统硬件、系统软件、Hadoop基础设施组件配置和调优。系统管理员可以通过各种配置选项对Hadoop集群进行优化。在建立和维护Hadoop集群原创 2015-09-08 22:25:01 · 864 阅读 · 0 评论 -
Spark1.0.0 集群配置
1. 机器:(1)master :主机名:hadoop-1 IP:202.193.74.111(2)slave1 :主机名: hadoop-2 IP:202.193.74.112(3)slave2 :主机名: hadoop-3 IP:202.193.74.113已经部署好了hadoop分布式集群环境,hadoop版本为1.1.2(原创 2015-09-05 23:06:04 · 511 阅读 · 0 评论 -
Hadoop计算中的Shuffle过程
Shuffle 过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看 完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所 以在这转载 2015-09-12 11:32:34 · 330 阅读 · 0 评论 -
HDFS文件写入与读取
HDFS文件写入与读写副本(3个)选择策略说明:1. 若client为DataNode节点,那存储block时,规则为:副本1,同client的节点上;副本2,不同机架节点上;副本3,同第二个副本机架的另一个节点上;其他副本随机挑选。2. 若client不为DataNode节点,那存储block时,规则为:副本1,随机选择一个节点上;副本2,不同副本1,机架上;副本3,同副原创 2015-09-13 15:38:31 · 1396 阅读 · 0 评论 -
Spark源码—Job Runtime
Spark内核源码调度图: Job Runtime版本:Spark 1.1.0原创 2015-10-23 21:54:03 · 651 阅读 · 0 评论 -
Spark源码—AKKA驱动下的Driver、Master、Worker
Spark源码调度—AKKA驱动下的Driver、Master、Worker 调度机制版本:Spark 1.1.0原创 2015-10-23 21:56:16 · 491 阅读 · 0 评论