![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
max_198642
这个作者很懒,什么都没留下…
展开
-
hadoop log
1 user log (用户程序中的log信息, 用log4j实现的) : $HADOOP_HOME/logs/userlogs/$JOB_ID/attempt_*/syslog 2 在$HADOOP_HOME/logs目录下: hadoop-$user-datanode-$hostname.log 在$hostname这台机器上启动datanode进程的时候的日志输出, 由lo...原创 2012-10-25 15:37:37 · 138 阅读 · 0 评论 -
hadoop framework
[url]http://hadoop.apache.org/common/docs/r1.0.3/mapred_tutorial.html[/url] [b]mapper[/b] mapper的任务就是把key-value pair转换成key-value pair,作为reducer的输入。 MapReduce framework会为每个InputSplit都分配一个mapper线程,完全...原创 2012-09-05 17:30:49 · 77 阅读 · 0 评论 -
FS shell
概览一下file system shell command: $HADOOP_HOME/bin/hadoop fs test [-ezd] : 检查啊 e = exist z = zero d = directory 查看目录类: ls lsr :相当入recursive ls 不要用,巨烦 du :看一下这个目录下的 各个子目录大小 dus :看看这个目录大小 c...原创 2012-09-10 20:39:29 · 80 阅读 · 0 评论