自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

elegant0124的专栏

原创 hadoop动态增加和删除节点

hadoop集群在使用中可能会动态的增加或者删除节点，

2014-10-25 22:54:39 615

原创 DAGScheduler源码解析之作业提交

上篇文章主要

2014-09-22 21:51:41 647

原创 DAGScheduler源码解析之Stage划分

上篇文章DAGScheduler

2014-09-22 20:49:51 722

原创 Hadoop关于处理大量小文件的问题和解决办法(2)--CombineFileInputFormat

针对上篇Hadoop关于处理大量小文件的问题和解决办法

2014-09-22 15:12:00 518

转载 Hadoop关于处理大量小文件的问题和解决方法

摘要：小文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的问题在于无法很有效的处小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件

2014-09-22 12:47:18 367

原创 Hadoop对输入文件划分（InputFormat)

适用Hadoop很长时间了，从最开始的学习到深入源码解析，

2014-09-21 20:38:33 457

原创 spark的整体架构图

在研究spark时偶然找到了之前版本的s

2014-09-20 22:10:44 196

原创 Spark的作业调度过程

DAGScheduler将job划分成若干个Stage,然后以TaskSet

2014-09-20 20:50:07 846

原创 DAGScheduler

Spark的调度器分为两种：

2014-09-03 17:01:36 578

hadoop1.1.2eclipse插件

hadoop1.1.2的eclipse插件

2013-12-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示

确定要删除当前文章？

取消删除