80： Hadoop大数据 、 部署Hadoop 、 Hadoop集群 、 总结和答疑

于 2020-11-17 09:40:11 发布
阅读量158 收藏
点赞数
分类专栏： 达内云计算培训笔记 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46575696/article/details/109735995
版权
Top

NSD ARCHITECTURE DAY03

  1. 案例1：部署Hadoop
  2. 案例2：准备集群环境
  3. 案例3：配置Hadoop集群
  4. 案例4：初始化并验证集群
  5. 案例5：mapreduce模板案例
  6. 案例6：部署Yarn

1 案例1：部署Hadoop

1.1 问题

本案例要求安装单机模式Hadoop：

  • 热词分析：
  • 最低配置：2cpu，2G内存，10G硬盘
  • 虚拟机IP：192.168.1.50 hadoop1
  • 安装部署 hadoop
  • 数据分析，查找出现次数最多的单词

1.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：环境准备

1）配置主机名为hadoop1，ip为192.168.1.50，配置yum源（系统源）

备注：由于在之前的案例中这些都已经做过，这里不再重复，不会的学员可以参考之前的案例

2）安装java环境

[root@hadoop1 ~]# yum -y install java-1.8.0-openjdk-devel
[root@hadoop1 ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[root@hadoop1 ~]# jps
1235 Jps

3）安装hadoop

[root@hadoop1 ~]# cd hadoop/
[root@hadoop1 hadoop]# ls
hadoop-2.7.7.tar.gz  kafka_2.12-2.1.0.tgz  zookeeper-3.4.13.tar.gz
[root@hadoop1 hadoop]# tar -xf hadoop-2.7.7.tar.gz 
[root@hadoop1 hadoop]# mv hadoop-2.7.7 /usr/local/hadoop
[root@hadoop1 hadoop]# cd /usr/local/hadoop
[root@hadoop1 hadoop]# ls
bin  include  libexec      NOTICE.txt  sbin
etc  lib      LICENSE.txt  README.txt  share
[root@hadoop1 hadoop]# ./bin/hadoop   //报错，JAVA_HOME没有找到
Error: JAVA_HOME is not set and could not be found.
[root@hadoop1 hadoop]#

4）解决报错问题

[root@hadoop1 hadoop]# rpm -ql java-1.8.0-openjdk

[root@hadoop1 hadoop]# cd ./etc/hadoop/
[root@hadoop1 hadoop]# vim hadoop-env.sh
25 export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64 /jre"

33 export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
[root@hadoop1 ~]# cd /usr/local/hadoop/
[root@hadoop1 hadoop]# ./bin/hadoop
Usage: hadoop [–config confdir] [COMMAND | CLASSNAME]
CLASSNAME run the class named CLASSNAME
or
where COMMAND is one of:
fs run a generic filesystem user client
version print the version
jar <jar> run a jar file
note: please use “yarn jar” to launch
YARN applications, not this command.
checknative [-a|-h] check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
credential interact with credential providers
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
trace view and modify Hadoop tracing settings

Most commands print help when invoked w/o parameters.

5)词频统计

[root@hadoop1 hadoop]# mkdir /usr/local/hadoop/input
[root@hadoop1 hadoop]# ls
bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  input  README.txt  sbin  share
[root@hadoop1 hadoop]# cp *.txt /usr/local/hadoop/input
[root@hadoop1 hadoop]# ./bin/hadoop jar  \
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar  wordcount input output    	//wordcount为参数 统计input这个文件夹，存到output这个文件里面（这个文件不能存在，要是存在会报错，是为了防止数据覆盖）
[root@hadoop1 hadoop]#  cat   output/part-r-00000    //查看

2 案例2：准备集群环境

2.1 问题

本案例要求：

  • 准备集群环境
  • 最低配置：2CPU，2G内存，10G硬盘
  • 虚拟机IP：
  • 192.168.1.50 hadoop1
  • 192.168.1.51 node-0001
  • 192.168.1.52 node-0002
  • 192.168.1.53 node-0003
  • 要求：禁用selinux、禁用firewalld (所有主机)
  • 安装java-1.8.0-openjdk-devel，并配置 /etc/hosts(所有主机)
  • 设置hadoop1 免密登录其他主机、并不用输入 yes
  • 使所有节点能够ping通，配置SSH信任关系
  • 节点验证

2.2 方案

准备四台虚拟机，由于之前已经准备过一台，所以只需再准备三台新的虚拟机即可，安装hadoop，使所有节点可以ping通，配置SSH信任关系，如图-1所示：

图-1

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：环境准备

1）三台机器配置主机名为node-0001、node-0002、node-0003，配置ip地址（ip如图-1所示），yum源（系统源）

2）编辑/etc/hosts（四台主机同样操作，以hadoop1为例）

[root@hadoop1 ~]# vim /etc/hosts
192.168.1.50  hadoop1
192.168.1.51  node-0001
192.168.1.52  node-0002
192.168.1.53  node-0003

3）安装java环境，在node-0001，node-0002，node-0003上面操作（以node-0001为例）

[root@node-0001 ~]# yum -y install java-1.8.0-openjdk-devel

4）布置SSH信任关系

[root@hadoop1 ~]# vim /etc/ssh/ssh_config    //第一次登陆不需要输入yes
Host *
        GSSAPIAuthentication yes
        StrictHostKeyChecking no
[root@hadoop1 .ssh]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Ucl8OCezw92aArY5+zPtOrJ9ol1ojRE3EAZ1mgndYQM root@hadoop1
The key's randomart image is:
+---[RSA 2048]----+
|        o*E*=.   |
|         +XB+.   |
|        ..=Oo.   |
|        o.+o...  |
|       .S+.. o   |
|        + .=o    |
|         o+oo    |
|        o+=.o    |
|        o==O.    |
+----[SHA256]-----+
[root@hadoop1 .ssh]# for i in 61 62 63 64 ; do  ssh-copy-id  192.168.1.$i; done   
//部署公钥给hadoop1，node-0001，node-0002，node-0003

5）测试信任关系

[root@hadoop1 .ssh]# ssh node-0001
Last login: Fri Sep  7 16:52:00 2018 from 192.168.1.60
[root@node-0001 ~]# exit
logout
Connection to node-0001 closed.
[root@hadoop1 .ssh]# ssh node-0002
Last login: Fri Sep  7 16:52:05 2018 from 192.168.1.60
[root@node-0002 ~]# exit
logout
Connection to node-0002 closed.
[root@hadoop1 .ssh]# ssh node-0003

步骤二：配置hadoop

1）修改slaves文件

[root@hadoop1 ~]# cd  /usr/local/hadoop/etc/hadoop
[root@hadoop1 hadoop]# vim slaves
node-0001
node-0002
node-0003

2）hadoop的核心配置文件core-site

[root@hadoop1 hadoop]# vim core-site.xml
<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop</value>
    </property>
</configuration>

[root@hadoop1 hadoop]# mkdir /var/hadoop //hadoop的数据根目录

3）配置hdfs-site文件


[root@hadoop1 hadoop]# vim hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.http-address</name>

<value>hadoop1:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop1:50090</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

3 案例3：配置Hadoop集群

3.1 问题

本案例要求完成hadoop的同步配置：

  • 完成所有Hadoop集群的配置，并同步给所有主机
  • 环境配置文件：hadoop-env.sh
  • 核心配置文件：core-site.xml
  • HDFS配置文件：hdfs-site.xml
  • 节点配置文件：slaves

3.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：同步

1）同步配置到node-0001，node-0002，node-0003

 [root@hadoop1 hadoop]# for i in 52 53 54 ; do rsync -aSH --delete /usr/local/hadoop/ 
\   192.168.1.$i:/usr/local/hadoop/  -e 'ssh' & done
[1] 23260
[2] 23261
[3] 23262

2）查看是否同步成功

[root@hadoop1 hadoop]# ssh node-0001 ls /usr/local/hadoop/
bin
etc
include
lib
libexec
LICENSE.txt
NOTICE.txt
output
README.txt
sbin
share
input
[root@hadoop1 hadoop]# ssh node-0002 ls /usr/local/hadoop/
bin
etc
include
lib
libexec
LICENSE.txt
NOTICE.txt
output
README.txt
sbin
share
input
[root@hadoop1 hadoop]# ssh node-0003 ls /usr/local/hadoop/
bin
etc
include
lib
libexec
LICENSE.txt
NOTICE.txt
output
README.txt
sbin
share
input

4 案例4：初始化并验证集群

4.1 问题

本案例要求初始化并验证集群：

  • hadoop1 部署 namenode，secondarynamenode
  • node-000X 部署 datanode

4.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：格式化

[root@hadoop1 hadoop]# cd /usr/local/hadoop/
[root@hadoop1 hadoop]# ./bin/hdfs namenode -format		 //格式化 namenode
[root@hadoop1 hadoop]# ./sbin/start-dfs.sh		//启动
[root@hadoop1 hadoop]# jps		//验证角色
23408 NameNode
23700 Jps
23591 SecondaryNameNode
[root@hadoop1 hadoop]# ./bin/hdfs dfsadmin -report		//查看集群是否组建成功
Live datanodes (3):		//有三个角色成功

步骤二：web 页面验证

firefox http://hadoop1:50070 (namenode)
firefox http://hadoop1:50090 (secondarynamenode)
firefox http://node-0001:50075 (datanode)

5 案例5：mapreduce模板案例

5.1 问题

本案例要求在 hadoop1 上拷贝 mapreduce 模板案例：

  • 配置使用 yarn 的资源管理类
  • 把配置同步给所有主机

5.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：部署mapred-site

1）配置mapred-site（hadoop1上面操作）

[root@hadoop1 ~]# cd /usr/local/hadoop/etc/hadoop/
[root@hadoop1 ~]# mv mapred-site.xml.template mapred-site.xml
[root@hadoop1 ~]# vim mapred-site.xml
<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6 案例6：部署Yarn

6.1 问题

本案例要求：

  • 在之前创建的 4 台虚拟机上部署 Yarn
  • 在虚拟机上安装部署 Yarn
  • hadoop1 部署 resourcemanager
  • node(1,2,3) 部署 nodemanager

6.2 方案

在之前创建的 4 台虚拟机上部署 Yarn，如图-1所示：

图-2

6.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：安装与部署hadoop

1）配置yarn-site（hadoop1上面操作）

[root@hadoop1 hadoop]# vim yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

2）同步配置（hadoop1上面操作）


[root@hadoop1 hadoop]# for i in {52…54}; do rsync -aSH --delete /usr/local/hadoop/ 192.168.1.$i:/usr/local/hadoop/  -e ‘ssh’ & done

[1] 712

[2] 713

[3] 714

3）验证配置（hadoop1上面操作）

[root@hadoop1 hadoop]# cd /usr/local/hadoop
[root@hadoop1 hadoop]# ./sbin/start-dfs.sh
Starting namenodes on [hadoop1]
hadoop1: namenode running as process 23408. Stop it first.
node-0001: datanode running as process 22409. Stop it first.
node-0002: datanode running as process 22367. Stop it first.
node-0003: datanode running as process 22356. Stop it first.
Starting secondary namenodes [hadoop1]
hadoop1: secondarynamenode running as process 23591. Stop it first.
[root@hadoop1 hadoop]# ./sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-hadoop1.out
node-0002: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-node-0002.out
node-0003: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-node-0003.out
node-0001: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-node-0001.out
[root@hadoop1 hadoop]# jps    //hadoop1查看有ResourceManager
23408 NameNode
1043 ResourceManager
1302 Jps
23591 SecondaryNameNode
[root@hadoop1 hadoop]# ssh node-0001 jps		//node-0001查看有NodeManager
25777 Jps
22409 DataNode
25673 NodeManager
[root@hadoop1 hadoop]# ssh node-0002 jps		//node-0001查看有NodeManager
25729 Jps
25625 NodeManager
22367 DataNode
[root@hadoop1 hadoop]# ssh node-0003 jps		//node-0001查看有NodeManager
22356 DataNode
25620 NodeManager
25724 Jps

4）web访问hadoop

firefox http://hadoop1:8088 (resourcemanager)
firefox http://node-0001:8042 (nodemanager)
尹汇川
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop大数据开发基础.rar
10-14
搭建Hadoop完全分布式集群.ppt ├── 第3章 │ └── Hadoop基础操作.ppt ├── 第4章 │ └── MapReduce入门编程.ppt ├── 第5章 │ └── MapReduce高级编程.ppt └── 第6章 └── 基于knn的电影网站...
hadoop 2.0 详细配置教程
weixin_33859665的博客
09-18 199
作者：杨鑫奇 PS：文章有部分参考资料来自网上，并经过实践后写出，有什么问题欢迎大家联系我。 update: 20130518  大家可以尝试下Ambari来配置Hadoop的相关环境 快速的部署Hadoop,Hbase和Hive等并提供Ganglia和Nagios的监控功能,强烈推荐使用. http://www.cnblogs.com/scotoma/archive/2013/05/1...
Hadoop集群搭建与经验总结
一朝风月
11-03 6326
最近要研发一款数据传输服务的产品需要用到Hadoop集群，之前搭建过后来长时间不用就给忘记了，这次搭好来记录一下搭建方法与经验总结 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语...
Hadoop完全分布式集群总结
Biubiubiu!
02-17 2623
Hadoop完全分布式集群搭建 一、新建虚拟机 没啥说的，注意分区即可，我这里是演示，配置不高。 /boot:300M足够 /swap:一般为内存的两倍，2048M /home:2000M足够 /：剩余空间 二、规划集群与服务 1、逻辑结构 2、物理结构 3、总结构 192.168.153.134：Hadoop01(主节点)： 包括NameNode、DataNode、ResourceM...
14-hadoop-运行的2种方式
weixin_34072637的博客
04-04 210
hadoop的程序运行有, 具体有3种, 除了上一篇(http://www.cnblogs.com/wenbronk/p/6662119.html)提过的直接发布jar上传到hadoop以外, 还有本地运行和真实服务器运行两种方式 1, 本地模式 1.1 解压hadoop.tar.gz到windows目录下 1.2 在hadoop/bin/下, 拷贝一个debug小工具, winutils.exe...
【Hadoop】Hadoop认证代码分析
小哲的博客
11-26 1031
Hadoop认证代码分析 Hadoop作为分布式系统，服务分布于多台服务器之间，提供多用户的访问机制，却有着极其简单的认证实现逻辑。 JAAS（Java Authentication Authorization Service）完整的提供了一个认证鉴权的框架，在Hadoop这个看似庞大的架构当中，借助这一体系，在一个单独的Java类中，实现了认证的绝大部分逻辑。 本文主要讲述Hadoop中的认证实...
hadoop大数据课程设计
06-15
【标题】"hadoop大数据课程设计"涉及到的核心技术是Hadoop，这是一个开源的分布式计算框架，主要用于处理和存储海量数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，前者提供高容错...
Hadoop大数据期末考试重点
06-16
2. **配置文件的区别**：hadoop-env.sh配置文件用于确保Hadoop系统能正常运行HDFS守护进程，如NameNode、Secondary NameNode和DataNode，而非yarn-env.sh。 3. **Hadoop2.x的Block大小**：在Hadoop2.x中，默认的...
学习笔记(01):Hadoop大数据从入门到精通-Hadoop的介绍及基本概念
01-20
总结起来，Hadoop 是一个强大的工具，它为大数据的存储和处理提供了可靠的基础。通过HDFS、MapReduce和YARN的组合，Hadoop能够有效地支持大数据的生命周期，从数据的获取、存储到分析和挖掘。对于想要深入理解和掌握...
云计算Hadoop：快速部署Hadoop集群
07-23
资源名称：云计算Hadoop：快速部署Hadoop集群内容简介： 近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...
hadoop3的简单安装方法（单节点）
lucien7l的博客
06-24 1万+
前言    目前，网络上关于Hadoop安装的资料很多，过程比较详细，各种问题的解决方案基本都能找到，但资料质量参差不齐，随着hadoop版本的更新，有些方法已经不适用。lz初学hadoop，在这里面碰到不少坑，在此对hadoop安装方法进行梳理，既作为自己看的笔记，也希望能与大家交流。安装过程依照Apache官网的安装文档，对安装中遇到的问题，见招拆招。安装环境    电脑系统：windows ...
Hadoop学习之以全分布模式部署及问题
skyWalker_ONLY
02-23 3818
之前学习Hadoop都是在VMWare虚拟机上的Linux系统上以伪分布模式部署的，最近领导对GreenPlum比较感兴趣，申请了7台物理机，也就有机会在7台物理组成的集群中以全分布模式部署Hadoop了。在部署Hadoop之前，领导已经将该7台物理机的ssh配置好了，若不熟悉ssh的配置可以参考文章http://blog.csdn.net/skywalker_only/article/detai
hadoop 小问题环境设置
u010468378的博客
08-20 413
1 linux修改系统日期与时间 date -s "2012-11-03 10:25:25" 2 windows下 hadoop 8088 端口不能看log的问题 进入C:\Windows\System32\drivers\etc 目录下编辑hosts目录 同一个地址可以起两个别名，但是不能写两个同样的IP地址 配置成功后可以在cmd中直接ping master…192.168.13
Hadoop的伪分布和完全分布安装配置过程
biwenjun999的博客
09-21 1940
客户机环境处理 修改win7 hosts文件以便查看web UI --------------------          [C:\Windows\System32\drivers\etc\hosts]          127.0.0.1localhost          192.168.238.128 s100          192.168.238.129 s102
Hadoop节点管理
彭淦淦的博客
05-25 202
3.1 问题 本案例要求： 增加一个新的节点 查看状态 删除节点 3.2 方案 另外准备两台主机，node4和nfsgw，作为新添加的节点和网关，具体要求如表-2所示： 表-2 3.3 步骤 实现此案例需要按照如下步骤进行。 步骤一：增加节点 1）增加一个新的节点node4 [root@hadoop5 ~]# echo node4 > /etc/hostname //更改主机名为node4 [root@hadoop5 ~]# hostname node4 [root@node4 ~]# yum
Hadoop之——Hadoop3.x端口变动
冰河的专栏
06-23 5787
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/93382245 Hadoop3.x相较于之前的版本来说，在端口的设置上发生了一些变化，先就这些端口变化总结如下： Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820 Secondary N...
node 获取本机主机名和ip
weixin_30294021的博客
06-08 429
/**获取本机ip**/function getIPAdress(){ var interfaces = require('os').networkInterfaces(); for(var devName in interfaces){ var iface = interfaces[devName]; for(var i=0;i<iface.leng...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
大数据hadoop常用端口-hadoop 3.x 通信端口
luo981695830的博客
10-20 1403
关于hadoop 2.x的通信端口参考上一篇博客 namenode rpc-address 8020 namenode http-address 9870 namenode https-address 9871 datanode address 9866 datanode http-address 9864 datanode https-address 9865 resourcemanager ht.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

尹汇川

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值