- 博客(4)
- 收藏
- 关注
RSS订阅原创 MapReduce的源码分析之Cli客户端源码讲解
MapReduce的源码分析之Cli 客户端源码分析： 客户端cli干了什么事情？ 加载配置文件> 执行自定义参数的job任务（框架有很多默认参数）> submit提交任务>计算文件的split切片个数 [maps的个数、输入类型、输入大小] > 清单信息[block位置信息、block的index、split的大小] &...
2018-03-09 10:11:47
458
原创 HDFS分布式文件系统特征block底层
HDFS分布式文件系统特征block底层转载注明出处： http://blog.csdn.net/jackie_zhf/article/details/79467624众多分布式文件系统为什么用HDFS？ a、可以移动计算到数据所在节点； b、就近读取数据文件和计算 Look 代码： private static void blk() throws Exception { ...
2018-03-07 10:33:16
475
原创 Hadoop之block副本放置策略 Rack机架感知源码
注意：block副本放置策略相关描述在Hadoop官网和源码实现与描述不一致。官网是第一个和第二个副本在同一机架上，第三个在不同机架上 更多随意。但是具体实现如下：•Block的副本放置策略 –第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 –第二个副本：放置在于第一个副本不同的机架的节点上。 –第三个副本：与第二个副本相同机架...
2018-03-05 17:41:23
1910
原创 Linux磁盘挂载--解决Linux扩容和磁盘IO负载问题
Linux磁盘挂载解决扩容问题 增量数据的情况下，使得硬盘容量满载 解决磁盘IO的负载问题 现有的硬盘IO负载满载下，为了增加多个磁盘来分摊压力，如写入一个磁盘的目录下根据业务划分，写入挂载到不同磁盘的多个路径下，来达到磁盘IO的优化 一、 新增磁盘1、 在所要添加磁盘的虚拟机上右键点击设置。2、点击添加按钮。 3、选择硬盘，点击下一步 4、点击下一步。 5、根据自...
2018-03-05 08:59:28
1421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人