Hadoop 2.x环境搭建之单机运行模式配置

最新推荐文章于 2022-05-12 18:38:10 发布

sun_shang

最新推荐文章于 2022-05-12 18:38:10 发布

阅读量539

点赞数 1

分类专栏： hadoop基础配置文章标签： hadoop

本文链接：https://blog.csdn.net/sun_shang/article/details/77586516

版权

hadoop基础配置专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Hadoop的单机运行模式配置

一、Hadoop配置的准备工作.1

1、linux1

二、配置Hadoop1

1.将hadoop放置到 opt下面的software文件后解压到modules文件下面： 1

2.配置hadoop的java环境支持.1

3.5、常用的HDFS文件系统常用命令.5

4、配置YARN 与任务调度资源管理.6

5、启动hdfs 与yarn进程（前面已经启动了hdfs进程）.7

6、检查hdfs yarn启动状态，即查看守护进程.7

7、向yarn提交mapreducer 任务.7

7.2、wordcount词频统计.8

8、再次执行wordcount会提示输出目录已经存在。.12

9、配置日志聚合.12

10、停止所有进程重新启动，以便配置文件生效.13

三、错误日志.15

一、 Hadoop配置的准备工作

1、linux 中的配置

a) Linux中修改主机名

b) 更改主机映射（iP 主机名）

c) 更改win7下的主机映射

d) 设置网卡为静态？

2、jdk的安装

a) 在opt下面创建software 放置jdk安装包（为压缩文件）

b) 在opt下面创建modules 放置用于jdk安装

c) 配置环境变量

d) 配置防火墙

二、配置Hadoop

1. 将hadoop放置到 opt下面的software文件后解压到modules文件下面：

2. 配置hadoop的java环境支持

配置文件的地址：opt/modules/hadoop版本/etc/hadoop

优先配置sh结尾的文件：

hadoop-env.sh

mapred-env.sh

yarn-env.sh

找到其中写有：${JAVA_HOME}的地方并更改为：

exportJAVA_HOME=/opt/modules/jdk1.7.0_67

三者对应中JAVA_HOME的位置：

这三个更改后应该为：

3、配置hdfs

3.1、与hdfs相关的配置

配置文件的地址：opt/modules/hadoop版本/etc/hadoop

这次主要更改以xml结尾的文件

按照顺序为：

1）core-site.xml （这里面会有主机名字的更改）

2)hdfs-site.xml

3.2、格式化namenode

注意：sbin命令都是在hadoop版本名的目录下执行的比如hadoop-2.5.0

注意：这里只格式化一遍，不用重复格式化

这里与通过cd命令进入到hadoop版本目录下：

格式化：$bin/hdfs namenode -format

3.3、启动hdfs守护进程

注意：sbin命令都是在hadoop版本名的目录下执行的比如hadoop-2.5.0

步骤：

启动namenode进程

启动datanode进程

查看jps

3.4、访问web界面

http://hadoop0505:50070/

查看文件系统

3.5、常用的HDFS文件系统常用命令

$ bin/hdfs dfs //可以查看所有的dfs相关的操作指令

$ bin/hdfs dfs -ls /

$ bin/hdfs dfs -mkdir -p /input/test

$ bin/hdfs dfs -rmdir/input/test

$ bin/hdfs dfs -put/opt/software/jdk-7u67-linux-x64.tar.gz /input/test

4、配置YARN 与任务调度（Mapreduce）资源管理（resourcemanager nodemanager）

配置yarn-site.xml

复制并重名模板文件

$ cp etc/hadoop/mapred-site.xml.templateetc/hadoop/mapred-site.xml

配置新增的mapred-site.xml

步骤如下：yarn-site.xml中

mapred-site.xml

5、启动hdfs 与yarn进程（前面已经启动了hdfs进程）

$ sbin/hadoop-daemon.sh start namenode

$ sbin/hadoop-daemon.sh start datanode

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

6、检查hdfs yarn启动状态，即查看守护进程

$ jps

7、向yarn提交mapreducer 任务

1)计算圆周率

$bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar pi 3 5

注意：这里端口为8032，无论何时总是先运行map，运行成功后子在运行reduce ，当然多线程中也是，只不过有时候看到的是map与不与其对应的reduce同时进行。

7.2、wordcount词频统计

a.在用户主目录创建一个1.log文件

注意：这里讲到查看文件内容最好用-text,而不是 -cat

$vi /home/hadoop/2.log

hadoopjava

htmljava

linuxhadoop

yarnhadoop

b1.上传到hdfs的input目录下

$ bin/hdfs dfs -put ~/wordcoun.txt/input/

b2.去http://hadoop0505:50070/中查看

c.提交wordcount任务

执行命令：

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output

自动创建input 文件

注意，这里只能查看该文件名

如果想看到里面写入的内容应该为：

a．进入hadoop0505:50070网站，（这里hadoop0505是主机名字），然后会

自动跳到http://hadoop0505:50070/dfshealth.html#tab-overview，然后将其中的html 更改为jsp ，即为：http://hadoop0505:50070/dfshealth.jsp#tab-overview，点击Browse the filesystem,找到input，wordcount.txt，就可以看到里面写的内容。

进入后显示写入的文字：

测试wordcount并将文件上传至output2，output2会自动新建这个文件：

查看步骤：在http://hadoop0505:8088/cluster中，先刷新，在查看对应的文件，如果显示successed，去http://hadoop0505:50070/dfshealth.jsp#tab-overview中查看生成的output2,既可以了。