![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Little Coder
向往美好生活的程序员
展开
-
Hadoop运行MapReduce Job
在Hadoop的share目录里,自带了一些jar包,里面带有一些mapreduce实例小例子,位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar,可以运行这些例子体验刚搭建好的Hadoop平台,我们这里来运行最经典的WordCount实例,来进行单词个数的统计。1、 创建测试用的Input文件创建输入目录:原创 2018-01-27 19:10:04 · 412 阅读 · 0 评论 -
Hadoop的环境安装
1、首先是java环境安装tar -zxvf jdk1.7.0_79.tar.gz -C /opt/modules2、配置环境变量设置JDK的环境变量 JAVA_HOME。需要修改配置文件/etc/profile,追加export JAVA_HOME="/opt/modules/jdk1.7.0_79"export PATH=$JAVA_HOME/bin:$PATH修改完原创 2018-01-04 15:22:05 · 951 阅读 · 0 评论 -
Hadoop之配置伪分布式集群
1、配置Hadoop环境变量[hadoop@bigdata-senior01 hadoop]# vim /etc/profile追加配置:export HADOOP_HOME="/opt/modules/hadoop-2.9.0"export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH执行:source /etc/profi原创 2018-01-04 15:55:29 · 360 阅读 · 0 评论 -
Hadoop之HDFS上测试创建目录、上传、下载文件
1、HDFS上创建目录${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo12、上传本地文件到HDFS上${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo13、上传本地文件到HDFS上${HADOOP_HOME}/bin/hdfs dfs原创 2018-01-27 17:28:07 · 42049 阅读 · 0 评论 -
Hadoop之配置yarn
1、 配置mapred-site.xml默认没有mapred-site.xml文件,但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xmlproperty> name>mapredu原创 2018-01-27 18:51:36 · 1344 阅读 · 1 评论