Hadoop其他开发方法:
HadoopStreaming 允许用任何 shell 命令作为 map 或 reduce 函数。
libhdfs 是一种基于 JNI 的 C 语言版 API(仅用于 HDFS)。Hadoop Pipes 是一种兼容 SWIG 的 C++ API (非 JNI),用于编写 MapReduce 作业。
Map读入文件不会切割:
自己完成InputFormat
mapred.min.split.size 设置为足够大
非Hadoop用户运行 M/R任务
客户端和服务器机器都要有访问权限
<property>
<name>mapred.system.dir</name>
<value>/hadoop/mapred/system</value>
<description>The shared directory where MapReduce stores control files.</description>
</property>