- 博客(6)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【HDFS】datanode注册信息都有啥？
datanode节点在启动的时候，有一个向namenode注册的过程，那么注册的过程中datanode到底向namenode传递了哪些信息？ private void register() throws IOException { if (dnRegistration.getStorageID().equals("")) { setNewStorageID(dnRegis
2014-01-21 11:54:52
1253
原创 【HDFS】存储balancer到底咋回事
最近集群存储倾斜，个别节点存储超过85%，启动balancer之后效果明显，但是有时候balancer启动也不能解决问题。从运维阶段就知道有这么一个balancer，今天终于憋了一口气看看balancer到底咋回事。版本还是1.0.3首先balancer在org.apache.hadoop.hdfs.server.balancer，balancer作为一个独立程序启动，听说之前是在nameno
2014-01-16 15:38:39
3396
原创 【HDFS】hdfs的fsck是咋回事
有一次使用hadoop客户端运行hadoop的fsck，客户端报错，显示socket错误，连不上，rd童鞋耻笑说没有配置http地址，教训我等fsck是依靠http的一个工具，好吧，谁让咱他妈的不懂呢，现在就来看看fsck到底是咋实现的。elif [ "$COMMAND" = "fsck" ] ; then CLASS=org.apache.hadoop.hdfs.tools.DFSck
2014-01-09 17:11:40
3655
1
原创 Azkaban 的作业类型插件
首先说jobtype跟azkaban的webserver端无关，因为webserver节点只负责项目作业管理（上传和分发），并不关心你上传的是哪种类型的作业。负责具体执行的executor会解析job文件。还记得在配置.job作业文件的时候，使用type关键字指定作业类型吗？executor有一个作业类型管理器，在其构造方法中可以看到，既可以加载默认的作业类型，也能从插件中加载新的作业类型
2014-01-07 19:21:05
10116
1
原创 Azkaban调研
一、概述Azkaban来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。日常生产环境中，为了得到想要的数据，通常需要执行很多作业，一批作业执行完毕，再将中间结果进一步处理，最后得到有价值的数据，因此作业之间执行有先后顺序和依赖关系。这样的一组作业称为一个工作流，Azkaban就是用来构建、运行和管理工作流的工具，它提供友好的Web用户界面来维护和跟踪用户的工作流程。
2014-01-03 17:52:07
5278
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人