自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 Hadoop tips: Hadoop脚本的环境变量

在Hadoop的命令行脚本($HADOOP_HOME/bin/hadoop)里可以找到一些环境变量,在某些情况下可以灵活使用。JAVA_HOME,HADOOP_CLASSPATH,HADOOP_HEAPSIZE等变量的意义比较明确,就不细说了。HADOOP_CONF_DIR指定Hadoop配置文件目录,默认是${HADOOP_HOME}/conf。当某台客户端机器是多人共用时,大家可能使用...

2011-01-22 14:59:11 209

原创 hack Hadoop编译脚本突破版本兼容性限制

我们都知道Hadoop在内部各个节点通信的时候, 必须保证两者版本是一致的(0.19是这样, 0.20以上的不知道). 也就是说JobTracker和TaskTracker必须使用相同的编译版本, 如果不一致, 可能会出现如下错误:[code="java"]2010-06-07 23:24:10,863 ERROR org.apache.hadoop.mapred.TaskTracker: S...

2010-06-07 23:49:24 98

原创 Hadoop计数器Counter笔记

Hadoop里有一个很常用的工具叫Counter, 主要用来记录Hadoop job的运行状态: HDFS读写的字节数, 本地文件读写, map/reduce 输入输出记录数等等. 用户也可以自己定义counter.1. 用命令行工具获取job的counter信息:[code="java"]hadoop job -counter job_201006072115_0001 org\.a...

2010-06-07 23:12:52 131

Hadoop tips - 如何获得客户请求的来源IP

Hadoop服务端所有的客户请求(除了HTTP接口)都使用RPC框架的Server来实现. RPC Server处理请求的是Handler线程, 对每一个请求(Call对象, 包含了客户来源IP,端口等信息)的处理过程中包含如下代码[code="java"]CurCall.set(call);[/code]其中CurCall是一个ThreadLocal对象. 在处理的过程中如果要获...

2010-04-07 16:25:34 121

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除