Hadoop
文章平均质量分 75
wulicode
大数据开发工程师。熟悉各种网站爬虫、文本挖掘、数据分析处理、python开发。彩票预测,自动下单。
展开
-
Hadoop shell 命令
1.查看目录hadoop fs -ls 查看目录(/等效于hdfs://hadoop0:9000/)hadoop fs -lsr 递归查看目录2创建文件夹hadoop fs mkdir /sfx3.上传文件,本地到hdfshadoop fs -put /root/data.log /d1本地目录 hdfs目录(当hdfs的目录不存在,则默认为上传的文件名)如果没原创 2014-10-16 09:56:58 · 362 阅读 · 0 评论 -
hadoop 执行Wordcount详解
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;转载 2014-11-04 15:48:41 · 1349 阅读 · 0 评论 -
Tez安装整体过程以及各节点的配置
在/etc/profile中修改环境变量如下export JAVA_HOME=/usr/java/jdk1.7.0_55-clouderaexport MAVEN_HOME=/usr/local/apache-maven-3.0.3export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$MAVEN_HOME/bin:$PATHexport CL原创 2015-12-31 17:06:30 · 5464 阅读 · 0 评论