hadoop
尽拣寒枝不肯栖
这个作者很懒,什么都没留下…
展开
-
hadoop text cat head使用
hadoop fs -get hadoop fs -copyToLocal Above HDFS commands can be used for copying the HDFS files to local system.hadoop fs -cat This command will display the content of the HDFS file on your原创 2016-05-23 10:49:28 · 4558 阅读 · 0 评论 -
刘刚 mapside 实现
package MapJoin;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.net.URI;import java.util.HashMap;import java.util.Map;import org.apache.hadoop.c原创 2016-06-05 15:24:04 · 331 阅读 · 0 评论 -
hadoop jar
对于在hadoop里打好的jar包来说,已经指明了主类,命令为:hadoop jar jarname.jar input/ output/原创 2016-05-04 15:17:40 · 711 阅读 · 0 评论 -
hadoop fs下命令说明
1,hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的转载 2016-05-23 10:30:03 · 256 阅读 · 0 评论 -
hadoop 打jar包及运行jar包
1.出现了个问题appenders could be found for logger (org.apache.hadoop.util.Shell).原因是工程下没有eclipst关于hadoop的系统配置,只需要从其他项目拷贝一个log4j.properties就可以了。2.打jar包:在包上 右键,exportNextNextNext选择好m原创 2016-05-21 16:07:57 · 2643 阅读 · 0 评论 -
hadoop端口号配置信息
大数据系列零基础由入门到实战视频大优惠本帖最后由 pig2 于 2014-5-13 15:35 编辑 问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http转载 2016-05-21 14:01:48 · 3912 阅读 · 0 评论 -
mapreduce原理(word count)
1.map:按照单词分开,每个单词计数2.reduce:以单词为关键字,累加关键字相同的value值。3.输出。注意:在eclipse里运行需要配置mapreduce文件包,主类路径等信息。原创 2016-05-03 15:42:38 · 567 阅读 · 0 评论 -
hadoop日志存放路径(日志讲解好文章)&hadoop历史服务器
Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输出的日志;(2)、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的,其中有些地方在Hadoop 1.x中是没有的,请周知。 一、H转载 2016-05-03 16:29:00 · 6078 阅读 · 0 评论 -
hadoop start-all用途
当搭建好了hadoop环境,我们迫不及待的就开始执行start-all.sh脚本,那么这个脚本具体做什么呢[html] view plain copy 1:hadoop-config.sh //想使用自己的配置的,需要在这里设置了 2:start-dfs.sh //start dfs daemons 3:start-mapred.sh转载 2016-05-03 16:36:55 · 1784 阅读 · 0 评论 -
hadoop处理sequenceFile文件
代码为:package sequence;import java.io.IOException;import java.net.URI;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.SequenceFile;import or原创 2016-05-25 16:39:28 · 821 阅读 · 0 评论 -
mapreduce查看当前运行程序
就一行:yarn appcation -list原创 2016-05-24 22:26:58 · 1061 阅读 · 0 评论 -
hadoop操作mysql
前以前帖子介绍,怎样读取文本数据源和多个数据源的合并:http://www.cnblogs.com/liqizhou/archive/2012/05/15/2501835.html这一个博客介绍一下MapReduce怎样读取关系数据库的数据,选择的关系数据库为MySql,因为它是开源的软件,所以大家用的比较多。以前上学的时候就没有用过开源的软件,直接用盗版,也相当与免费,且比开源好用,例如转载 2016-06-10 16:33:52 · 792 阅读 · 0 评论