![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
wangqiaowqo
我思故我在,欢迎大家来访!
展开
-
Hadoop-shell
[转]http://p-x1984.iteye.com/blog/762936FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme...原创 2012-06-04 14:22:11 · 67 阅读 · 0 评论 -
查看hadoop目录下文件大小
[code="java"]17:12 [yule@a002.client.hadoop.qingdao.youku]$ hadoop fs -du -s /source/ent/laifeng/generalbusiness79298026603 /source/ent/laifeng/generalbusinesstty:[14] jobs:[0] cwd:[~]17:12 [...原创 2015-09-15 17:18:03 · 1445 阅读 · 0 评论 -
hadoop keybores
[hadoop@cmf ~]$ kinit hdfs@focusdc.hadoop.focus.cnPassword for hdfs@focusdc.hadoop.focus.cn: klist原创 2014-04-21 13:50:52 · 110 阅读 · 0 评论 -
使用MRUnit测试hadoop的MapReduce
1、参考 http://www.cnblogs.com/gpcuster/archive/2009/10/04/1577921.html http://conkeyn.iteye.com/blog/20284372、实战 [code="java"]官方文档 wiki:https://cwiki.apache.org/confluence/display/MRUNIT/...原创 2015-03-25 17:12:06 · 116 阅读 · 0 评论 -
Hadoop FS Shell
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file 。其中scheme和 authority参数都是可选的,如果未加指定,就会使用配置中指定的默认s...原创 2014-07-11 13:38:33 · 56 阅读 · 0 评论 -
Hadoop MapReduce开发最佳实践
Hadoop MapReduce开发最佳实践(上)http://www.infoq.com/cn/articles/MapReduce-Best-Practice-1?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_news_clk原创 2014-07-08 18:10:48 · 108 阅读 · 0 评论 -
hadoop cascading demo
http://www.blogjava.net/Skynet/archive/2009/07/22/287807.htmlhttp://docs.cascading.org/impatient/原创 2014-07-08 18:05:52 · 75 阅读 · 0 评论 -
hadoop2.x常用端口及定义方法
Hadoop 新 MapReduce 框架 Yarn 详解http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/hadoop2.x常用端口及定义方法http://www.zhixing123.cn/ubuntu/40649.html原创 2014-07-07 15:18:01 · 72 阅读 · 0 评论 -
Hadoop计算分类活跃用户
[code="java"]/** * */package cn.focus.dc.hadoop;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.util.HashMap;import java.util.HashS...原创 2013-08-27 09:51:44 · 102 阅读 · 0 评论 -
hadoop机架感知
1、hadoop机架感知HDFS如何知道各个DataNode的网络拓扑情况呢?它的机架感知功能需要 topology.script.file.name 属性定义的可执行文件(或者脚本)来实现,文件提供了NodeIP对应RackID的翻译。如果 topology.script.file.name 没有设定,则每个IP都会翻译成/default-rack。默认情况下,Hadoop机...原创 2014-07-02 20:43:22 · 174 阅读 · 0 评论 -
TextInputFormat如何处理跨split的行
http://blog.csdn.net/bluishglc/article/details/9380087相应地,在LineRecordReader判断是否还有下一行的方法:org.apache.hadoop.mapred.LineRecordReader.next(LongWritable, Text) 170到173行中,while使用的判定条件是:当前位置小于或等于split的结尾...原创 2014-06-26 11:43:12 · 145 阅读 · 0 评论 -
Hadoop插件有问题时,请使用cmd 然后 eclipse -clean 启动
Hadoop插件有问题时,请使用cmd 然后 eclipse -clean 启动原创 2014-02-12 13:36:29 · 95 阅读 · 0 评论 -
Hadoop源码学习
Hadoop下载地址:https://github.com/wangqiaowqo/hadoop-common其中hadoop-core对应的工程为:hadoop-common-trunk.zip\hadoop-common-trunk\hadoop-mapreduce-project\hadoop-mapreduce-client\hadoop-mapreduce-client-...原创 2013-08-20 12:15:25 · 95 阅读 · 0 评论 -
Ubuntu下Hadoop单机部署及分布式集群部署
CDH 4.5 手动安装http://wenku.baidu.com/view/6544c87f2e3f5727a5e962a3.htmlhadoop-1.1.2.tar.gz 也测试通过重要安装文档http://wenku.baidu.com/view/685f71b165ce050876321329.html在选择网络连接时,选择桥接模式设置root用户密码...原创 2012-07-24 12:51:56 · 225 阅读 · 0 评论 -
hadoop fs
1,hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的...原创 2016-01-08 17:42:50 · 122 阅读 · 0 评论