大数据2-Hadoop搭建

最新推荐文章于 2024-07-28 16:45:11 发布

Var.can

最新推荐文章于 2024-07-28 16:45:11 发布

阅读量104

点赞数

分类专栏：大数据文章标签： hadoop 分布式大数据 java

本文链接：https://blog.csdn.net/qq_32193775/article/details/105014907

版权

大数据专栏收录该内容

6 篇文章 0 订阅

订阅专栏

HADOOP搭建

前提

在linux系统上需要安装JDK 才能正常运行hadoop，JDK版本建议1.8；

安装Hadoop

Hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
将Hadoop.tar.gz 放置在/opt/software 目录下
1. 解压至/opt/module 下命令：
```
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
```
添加环境变量
1. 打开/etc/profile文件
```
vim /etc/profile
```
1. 在profile文件末尾添加JDK路径：（shitf+g）
  
  ##HADOOP_HOME
  
  export HADOOP_HOME=/opt/module/hadoop-2.7.2
  
  export PATH= $P A T H :$ HADOOP_HOME/bin
  
  export PATH= $P A T H :$ HADOOP_HOME/sbin
2. 让文件生效
```
source /etc/profile
```
3. 测试是否成功
```
hadoop version
```

Hadoop 目录结构

[hadoop-2.7.2]$ ll
drwxr-xr-x. 2   4096 5月  22 2017 bin
drwxr-xr-x. 3  4096 5月  22 2017 etc
drwxr-xr-x. 2  4096 5月  22 2017 include
drwxr-xr-x. 3   4096 5月  22 2017 lib
drwxr-xr-x. 2   4096 5月  22 2017 libexec
-rw-r--r--. 1   15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1    101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1   1366 5月  22 2017 README.txt
drwxr-xr-x. 2   4096 5月  22 2017 sbin
drwxr-xr-x. 4 4096 5月  22 2017 share

重要目录：

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

Hadoop 运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

Hadoop官方网站： https://hadoop.apache.org/

有官方的英文版的运行说明，可参考

本地运行（单机版）

创建在hadoop-2.7.2文件下面创建一个input文件夹

mkdir input
将Hadoop的xml配置文件复制到input

cp etc/hadoop/*.xml input

执行share目录下的MapReduce程序

bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+’

查看输出结果

cat output/*

WordCount案例

创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

mkdir wcinput

在wcinput文件下创建一个wc.input文件

cd wcinput

touch wc.input

编辑wc.input文件

vim wc.input

在文件中输入如下内容

hadoop yarn

hadoop mapreduce

[usrname]

[password]

回到Hadoop目录/opt/module/hadoop-2.7.2
执行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

查看结果

cat wcoutput/part-r-00000

伪分布式运行模式

伪分布式：只有一个节点分分布式称为伪分布式；

启动HDFS并运行MapReduce程序

分析

（1）配置集群

（2）启动、测试集群增、删、查

（3）执行WordCount案例

执行步骤

（1）配置集群

（a）配置：hadoop-env.sh

Linux系统中获取JDK的安装路径：

echo $JAVA_HOME

修改JAVA_HOME 路径：

export JAVA_HOME=/xxx/xxx/jdk1.8.0_144

（b）配置：core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property><
   name>fs.defaultFS</name>
   <value>hdfs://hadoop101:9000</value>
</property> 
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>	
   <name>hadoop.tmp.dir</name>	
   <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（c）配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>	
    <name>dfs.replication</name>	
    <value>1</value><
    /property>

（2）启动集群

（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）

bin/hdfs namenode -format

（b）启动NameNode

sbin/hadoop-daemon.sh start namenode

（c）启动DataNode

sbin/hadoop-daemon.sh start datanode

（3）查看集群

（a）查看是否启动成功

jps

13586 NameNode

13668 DataNode

13786 Jps

注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps

（b）web端查看HDFS文件系统

http://linuxIP:50070

注意：如果不能查看，看如下帖子处理

http://www.cnblogs.com/zlslch/p/6604189.html

（c）查看产生的Log日志

说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。

当前目录：hadoop-2.7.2/logs

 $ls

hadoop-atguigu-datanode-hadoop.*.com.log

hadoop-atguigu-datanode-hadoop.*.com.out

hadoop-atguigu-namenode-hadoop.*.com.log

hadoop-atguigu-namenode-hadoop.*.com.out

SecurityAuth-root.audit

启动YARN并运行MapReduce程序

分析

（1）配置集群在YARN上运行MR

（2）启动、测试集群增、删、查

（3）在YARN上执行WordCount案例

执行步骤

注意以下文件路径在hadoop/etc/hadoop下

（1）配置集群

（a）配置yarn-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/xxx/xxx/jdk1.8.0_144

（b）配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
 	<name>yarn.nodemanager.aux-services</name>
 	<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>ip</value>
</property>

（c）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/xxx/xxx/jdk1.8.0_144

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

$ mv mapred-site.xml.template mapred-site.xml

$ vi mapred-site.xml

<!-- 指定MR运行在YARN上 -->

<property>
   	<name>mapreduce.framework.name</name>
   	<value>yarn</value>
</property>

（2）启动集群

（a）启动前必须保证NameNode和DataNode已经启动

（b）启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

（c）启动NodeManager

sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）YARN的浏览器页面查看，如图2-35所示

http://linuxIP:8088/cluster
在这里插入图片描述

图2-35 YARN的浏览器页面

（b）删除文件系统上的output文件

$bin/hdfs dfs -rm -R /user/atguigu/output

（c）执行MapReduce程序

$bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output

（d）查看运行结果，如图2-36所示

$bin/hdfs dfs -cat /user/atguigu/output/*

在这里插入图片描述

图2-36 查看运行结果

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

配置mapred-site.xml

$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->

<property>
	<name>mapreduce.jobhistory.address</name>
	<value>ip:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>ip:19888</value>
</property>

启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

查看历史服务器是否启动

$ jps

查看JobHistory

http://linuxIP:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

配置yarn-site.xml

$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 日志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>604800</value>
</property>

关闭NodeManager 、ResourceManager和HistoryServer

$ sbin/yarn-daemon.sh stop resourcemanager

$ sbin/yarn-daemon.sh stop nodemanager

$ sbin/mr-jobhistory-daemon.sh stop historyserver

启动NodeManager 、ResourceManager和HistoryServer

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

$ sbin/mr-jobhistory-daemon.sh start historyserver

删除HDFS上已经存在的输出文件

$ bin/hdfs dfs -rm -R /user/atguigu/output

执行WordCount程序

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output

查看日志，如图2-37，2-38，2-39所示

http://linuxIP:19888/jobhistory
在这里插入图片描述

图2-37 Job History
在这里插入图片描述

图2-38 job运行情况
在这里插入图片描述

图2-39 查看日志

配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

表2-1

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-2.7.2.jar/ core-default.xml
[hdfs-default.xml]	hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-2.7.2.jar/ mapred-default.xml

（2）自定义配置文件：

****core-site.xml********、********hdfs-site.xml********、********yarn-site.xml********、********mapred-site.xml****四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

集群Hadoop搭建

1. 集群部署规划

表2-3

	linux1	Linux2	Linux3
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2. 配置集群

（1）核心配置文件

配置core-site.xml

Vim core-site.xml

在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->

<property>

  <name>fs.defaultFS</name>

   <value>hdfs://linux1:9000</value>

</property>

 

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

  <name>hadoop.tmp.dir</name>

  <value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

（2）HDFS配置文件

配置hadoop-env.sh

$ vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

$ vi hdfs-site.xml

在该文件中编写如下配置

<property>

  <name>dfs.replication</name>

  <value>3</value>

</property>

 

<!-- 指定Hadoop辅助名称节点主机配置 -->

<property>

   <name>dfs.namenode.secondary.http-address</name>

   <value>linux3:50090</value>

</property>

（3）YARN配置文件

配置yarn-env.sh

$ vi yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

$ vi yarn-site.xml

在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

 

<!-- 指定YARN的ResourceManager的地址 -->

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>linux2</value>

</property>

（4）MapReduce配置文件

配置mapred-env.sh

$ vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

$ cp mapred-site.xml.template mapred-site.xml

$ vi mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

3．在集群上分发配置好的Hadoop配置文件

同步各集群上的配置文件，不需要手动修改

可以通过linux的rsync进行同步

详情见：https://www.cnblogs.com/ggjucheng/p/5474038.html

4．查看文件分发情况

$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

4.3.4 集群单点启动

（1）如果集群是第一次启动，需要格式化NameNode（若前面已单机启动，可删除各linux系统下hadoop文件夹中的data命令）

linux1 ：$ hdfs namenode -format

（2）在hadoop102上启动NameNode

linux1 ：$ hadoop-daemon.sh start namenode

$ jps

3461 NameNode

（3）在linux1、linux2 以及 linux3上分别启动DataNode

linux1$ hadoop-daemon.sh start datanode

linux1$ jps

3461 NameNode

3608 Jps

3561 DataNode

linux2 $ hadoop-daemon.sh start datanode

linux2 $ jps

3190 DataNode

3279 Jps

linux3$ hadoop-daemon.sh start datanode

linux3$ jps

3237 Jps

3163 DataNode

Var.can

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
大数据2-Hadoop搭建

HADOOP搭建前提在linux系统上需要安装JDK 才能正常运行hadoop，JDK版本建议1.8；安装HadoopHadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/将Hadoop.tar.gz 放置在/opt/software 目录下解压至/opt/module 下命令：t...
复制链接

扫一扫

专栏目录