hadoop
flyhaifeng
这个作者很懒,什么都没留下…
展开
-
hadoop2.6源代码编译
操作系统 centos6.4 64位 hadoop hadoop-2.6.0-src.tar.gz jdk jdk-7u67-linux-x64.tar.gz protoc protobuf-2.5.0.tar.gz maven apache-maven-3.0.5-bin.tar.gz 1. 安装jdk sudo tar -xzvf jdk-7u67-linux-x64.tar.原创 2015-11-09 09:56:42 · 281 阅读 · 0 评论 -
eclipse远程调试hadoop2.6
1.修改$HADOOP_HOME/bin/hdfs 脚本 以调试NameNode为例,找到如下代码: if [ "$COMMAND" = "namenode" ] ; then CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode' HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_O原创 2015-11-09 18:54:27 · 383 阅读 · 0 评论 -
[读书笔记]Yarn RPC实现
hadoop技术内幕-----深入解析YARN架构设计与实现原理 类图摘自书中第65页(以server端为例) 自下向上: yarn_server_common_service_protos.proto 文件中采用protocol buffer语法定义了RPC函数的参数和返回值,即定义了protocol buffer中的序列化部分,主要包括RegisterNodeManage原创 2015-11-11 11:13:26 · 1156 阅读 · 0 评论