- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop tips: Hadoop脚本的环境变量
在Hadoop的命令行脚本($HADOOP_HOME/bin/hadoop)里可以找到一些环境变量，在某些情况下可以灵活使用。JAVA_HOME，HADOOP_CLASSPATH，HADOOP_HEAPSIZE等变量的意义比较明确，就不细说了。 HADOOP_CONF_DIR 指定Hadoop配置文件目录，默认是${HADOOP_HOME}/conf。当某台客户端机器是多人共用时，大家可能使用...
2011-01-22 14:59:11
210
原创 hack Hadoop编译脚本突破版本兼容性限制
我们都知道Hadoop在内部各个节点通信的时候, 必须保证两者版本是一致的(0.19是这样, 0.20以上的不知道). 也就是说JobTracker和TaskTracker必须使用相同的编译版本, 如果不一致, 可能会出现如下错误: [code="java"]2010-06-07 23:24:10,863 ERROR org.apache.hadoop.mapred.TaskTracker: S...
2010-06-07 23:49:24
100
原创 Hadoop计数器Counter笔记
Hadoop里有一个很常用的工具叫Counter, 主要用来记录Hadoop job的运行状态: HDFS读写的字节数, 本地文件读写, map/reduce 输入输出记录数等等. 用户也可以自己定义counter. 1. 用命令行工具获取job的counter信息: [code="java"]hadoop job -counter job_201006072115_0001 org\.a...
2010-06-07 23:12:52
132
Hadoop tips - 如何获得客户请求的来源IP
Hadoop服务端所有的客户请求(除了HTTP接口)都使用RPC框架的Server来实现. RPC Server处理请求的是Handler线程, 对每一个请求(Call对象, 包含了客户来源IP,端口等信息)的处理过程中包含如下代码 [code="java"]CurCall.set(call);[/code] 其中CurCall是一个ThreadLocal对象. 在处理的过程中如果要获...
2010-04-07 16:25:34
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人