- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 spatialhadoop2.1源码阅读(三) 自定义InputFormat（SpatialInputFormat & ShapeInputFormat）
edu.umn.cs.spatialHadoop.mapred.SpatialInputFormat类继承自hadoop自带的FileInputFormat类。 SpatialInputFormat实现了InputFormat两大功能中的其中一个：getRecordReader。另外一个功能getSplits默认继承了FileInputFormat类的实现。 SpatialInputFor
2015-11-30 16:19:15
840
原创 spatialhadoop2.1源码阅读(二) bin/shadoop generate命令
edu.umn.cs.spatialHadoop.operations.Main 中关于bin/shadoop generate命令代码如下： pgd.addClass("generate", RandomSpatialGenerator.class, "Generates a random file containing spatial data"); 可知，该命令实现类为
2015-11-27 15:53:40
785
原创 spatialhadoop2.1源码阅读(一) shadoop脚本文件
1. bin/shadoop文件内容如下： bin=`dirname "$0"` bin=`cd "$bin" > /dev/null; pwd` # Call Hadoop with the operations.Main as the main class . "$bin"/hadoop edu.umn.cs.spatialHadoop.operations.Main $@
2015-11-18 19:29:40
1197
原创 [读书笔记]Yarn RPC实现
hadoop技术内幕-----深入解析YARN架构设计与实现原理 类图摘自书中第65页（以server端为例） 自下向上： yarn_server_common_service_protos.proto 文件中采用protocol buffer语法定义了RPC函数的参数和返回值，即定义了protocol buffer中的序列化部分，主要包括RegisterNodeManage
2015-11-11 11:13:26
1156
原创 eclipse远程调试hadoop2.6
1.修改$HADOOP_HOME/bin/hdfs 脚本 以调试NameNode为例，找到如下代码： if [ "$COMMAND" = "namenode" ] ; then CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode' HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_O
2015-11-09 18:54:27
383
原创 hadoop2.6源代码编译
操作系统 centos6.4 64位 hadoop hadoop-2.6.0-src.tar.gz jdk jdk-7u67-linux-x64.tar.gz protoc protobuf-2.5.0.tar.gz maven apache-maven-3.0.5-bin.tar.gz 1. 安装jdk sudo tar -xzvf jdk-7u67-linux-x64.tar.
2015-11-09 09:56:42
281
算法导论课后习题与思考题答案合集
2012-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人