Hadoop搭建本地模式，伪分布模式，分布式集群安装（详解）

最新推荐文章于 2024-09-10 12:00:00 发布
最新推荐文章于 2024-09-10 12:00:00 发布
阅读量650 收藏
点赞数
分类专栏： 大数据 文章标签： Hadoop搭建本地模式，伪分布模式，分布式集群安装（详解）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43599377/article/details/103414305
版权
本文详述了Hadoop在不同模式下的安装步骤，包括本地模式、伪分布式和集群模式。首先介绍了前期准备，如设置Linux环境、关闭防火墙、配置JDK。接着，讲解了Hadoop本地模式的安装，伪分布式模式的配置，如core-site.xml、hdfs-site.xml的设置，并进行了格式化、启动和验证。最后提到了分布式集群的安装流程，包括主机名和IP配置、免密登录设置、配置核心和YARN相关文件以及集群启动和停止。
摘要由CSDN通过智能技术生成

一 前期准备

  1. 安装虚拟机 Linux安装（略）
  2. 配置网络地址（NAT）（略）

​

 [root@hadoopNode1 ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens33

​ 注：确定IP地址，网段

​

  1. 修改hostname配置（略）

 [root@hadoopNode1 ~]# vi     /etc/hostname

​ 注：主算机名使用英文字母组成, 设置好后就不能随意的修改

  1. 修改hosts映射配置（）

例如：192.168.138.100 HadoopNode1

  1. 关闭防火墙（略）

    关闭：

    开机禁用：

    [root@hadoopNode1 ~]#systemctl stop firewalld   

[root@hadoopNode1 ~]#systemctl disable firewalld

    重起操作系统生效

  2. 创建用户ambow，并创建密码ambow（略）

 [root@hadoopNode1 ~]#     useradd ambow
 
 [root@hadoopNode1 ~]#    passwd  ambow
  1. 设置ambow用户具有root权限 sudo

使用root用户，修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示：

[ambow@ master soft]# vi /etc/sudoers

## Allow root to run any commands anywhere 

root ALL=(ALL) ALL 

ambow ALL=(ALL) ALL

修改完毕，现在可以用ambow帐号登录，然后用命令 su - ambow，即可获得root权限进行操作。

  1. 安装JDK

    tar包:
    [ambow@hadoopNode1 ~]$ pwd
/home/ambow
[ambow@hadoopNode1 ~]$ mkdir soft
[ambow@hadoopNode1 ~]$ mkdir app
[ambow@hadoopNode1 ~]$ ls
app  soft
[ambow@hadoopNode1 ~]$ tree .
.
├── app
└── soft
    ├── hadoop-2.7.3.tar.gz
    ├── jdk-8u121-linux-x64.tar.gz
    └── zookeeper-3.4.6.tar.gz

2 directories, 3 files
[ambow@hadoopNode1 ~]$ pwd
/home/ambow
[ambow@hadoopNode1 ~]$ tar -zxvf ./soft/jdk-8u121-linux-x64.tar.gz  -C  ./app/

    ​

​ 配置JDK:

​

[ambow@hadoopNode1 jdk1.8.0_121]$ vi  ~/.bash_profile
[ambow@hadoopNode1 jdk1.8.0_121]$ cat ~/.bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

JAVA_HOME=/home/ambow/app/jdk1.8.0_121

PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin

export PATH
export JAVA_HOME

[ambow@hadoopNode1 jdk1.8.0_121]$
[ambow@hadoopNode1 jdk1.8.0_121]$ source ~/.bash_profile

source ~/.bash_profile 让配置文件生效

  1. 重启操作系统
    reboot
    Hadoop 三种模式安装

    1.本地模式 用于开发和调式

    2.伪分布式 模拟一个小规模的集群
    一台主机模拟多主机

    启动 NameNode DataNode ResouceManger，nodeManager
    3.集群模式:（生产环境）

    多台主机，分别充当NaameNode,DataNode 。。。。
    Hadoop本地模式安装:

Hadoop本地模式安装

  1. 解压Hadoop软件

    [ambow@hadoopNode1 sbin]$ tar -zxvf   ~/soft/hadoop-2.7.3.tar.gz  -C  ~/app/

    ​

  2. 配置Hadoop环境变量

  ```shell
  [ambow@hadoopNode1 hadoop-2.7.3]$ vi ~/.bash_profile
  [ambow@hadoopNode1 hadoop-2.7.3]$ cat  ~/.bash_profile
  # .bash_profile

  # Get the aliases and functions
  if [ -f ~/.bashrc ]; then
          . ~/.bashrc
  fi

  # User specific environment and startup programs

  JAVA_HOME=/home/ambow/app/jdk1.8.0_121

  HADOOP_HOME=/home/ambow/app/hadoop-2.7.3

  PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  export PATH
  export JAVA_HOME
  export HADOOP_HOME

  ```

  ​

  1. 环境变量生效

    [ambow@hadoopNode1 hadoop-2.7.3]$ source ~/.bash_profile

    ​

  2. 测试

​ 新建测试的数据文件: ~/data/mydata.txt

测试语法格式:

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar 类名 输入 输出目录

[ambow@hadoopNode1 mydata.out]$ hadoop jar ~/app/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount  ~/data/mydata.txt   ~/data/mydata.out2

伪分布模式配置:

  1. JDK安装

  2. Hadoop安装

  3. 配置Hadoop的$HADOOP_HOME/etc/hadoop/core-siter.xml
    fs.defaultFS
    hadoop.tmp.dir

    [ambow@hadoopNode1 hadoop]$ vi   $HADOOP_HOME/etc/hadoop/core-site.xml

    ​

    <configuration>
    <!--   配置默认FS  hadoop3.X 默认端口为9820   hadoop2.X  默认端口为8020  hadoop1.X  默认端口为9000    一般伪分布设置为localhost:8020 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>

  <!-- 指定hadoop运行时产生文件存储的目录   会自动创建  不建议默认 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ambow/hdfs/data</value>
    </property>

</configuration>

    ​

    ​

  4. 配置 hdfs-siter.xml

    dfs.replication 设置块的副本个数: 伪分布模式只能设置为1 默认为3

    [ambow@hadoopNode1 hadoop]$ vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

    ​

    <configuration>
        
     <property>
          <!--  配置每个block的副本个数 默认3个  当是单节点时配置为1    不能配置态多，态多反而降低效果 -->
         <name>dfs.replication</name>
          <!--  伪分布式只能配1个副本 -->
         <value>1</value>
     </property>

</configuration>

  5. 格式化

[ambow@hadoopNode1 ~]$ hadoop namenode -format

一般只格式化一次,如果要再格式化，建议要把各dataNode节点的数据删除要，防止DataNode和NameNode的集群ID号不一致而无法启动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pto6Dc2v-1575559953078)(.\hadoop_imag\1565854449952.png)]

6.启动
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode

7.查看进程
jps

  1. logs日志文件
    ~/soft/hadop/logs

9：WEB访问查看
http://192.168.100.100:50070/

  1. YARN上运行MR 要配置两个配置文件

    配置mapred-siter.xml

    [ambow@hadoopNode1 hadoop]$ vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

    <configuration>
     <property>
         <!--  指定MapReduce使用Yarn资源管理框架  -->
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>

    ​

  2. 配置yarn-siter.xml

​ yarn.resourcemanger.hostname
yarn.nodemaager.aux-service

<configuration>
     <property>
         <!--  指定yaran主要管理一个机节点   主机名 -->
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoopNode1</value>
     </property>
     <property>
          <!-- 使用mapreduce_shuffle服务    -->
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
    
</configuration>
  1. 启动 yarn
[ambow@hadoopNode1 data]$ yarn-daemon.sh start resourcemanager

[ambow@hadoopNode1 data]$ yarn-daemon.sh start nodemanager

​

  1. 测试MR操作

上传Linux系统中的 ~/data/mydata.txt文件 至 HDFS文件系统/user/ambow目录中去

[ambow@hadoopNode1 data]$ hadoop dfs -put ~/data/mydata.txt   /user/ambow

对hdfs的文件使用yan来进行wordcount操作:


 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  wordcount  /user/ambow/mydata.txt   /user/ambow/output/wc/

分布式集群安装
1.修/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.200  hadoopNode1
192.168.100.201  hadoopNode2
192.168.100.202  hadoopNode3
192.168.100.203  hadoopNode4

2.以伪分布模来 克隆二个虚拟机

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zh4Yl3nz-1575560034539)(C:\Users\LDG\AppData\Local\Temp\1565926490995.png)]

3.分别配置各虚拟机节点的:IP地址，主机名,映射文件

[root@hadoopNode2 ~]# vi /etc/hostname
[root@hadoopNode2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
[root@hadoopNode2 ~]# vi /etc/hosts

4.验证配置

[root@hadoopNode2 ~]# ping hadoopNode1
PING hadoopNode1 (192.168.100.200) 56(84) bytes of data.
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=1 ttl=64 time=0.190 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=2 ttl=64 time=0.230 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=3 ttl=64 time=0.263 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=4 ttl=64 time=0.227 ms
^C64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=5 ttl=64 time=0.195 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=6 ttl=64 time=0.268 ms
^C
--- hadoopNode1 ping statistics ---
6 packets transmitted, 6 received, 0% packet loss, time 5000ms
rtt min/avg/max/mdev = 0.190/0.228/0.268/0.035 ms
[root@hadoopNode2 ~]# ping hadoopNode2
PING hadoopNode2 (192.168.100.201) 56(84) bytes of data.
64 bytes from hadoopNode2 (192.168.100.201): icmp_seq=1 ttl=64 time=0.011 ms
64 bytes from hadoopNode2 (192.168.100.201): icmp_seq=2 ttl=64 time=0.022 ms
^C
--- hadoopNode2 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.011/0.016/0.022/0.006 ms
[root@hadoopNode2 ~]# ping hadoopNode3
PING hadoopNode3 (192.168.100.202) 56(84) bytes of data.
64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=1 ttl=64 time=0.246 ms
64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=2 ttl=64 time=0.218 ms
64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=3 ttl=64 time=0.218 ms
^C64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=4 ttl=64 time=0.227 ms
^C
--- hadoopNode3 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3001ms
rtt min/avg/max/mdev = 0.218/0.227/0.246/0.015 ms
Master—slave主从架构
  1. 在master节点上进设置免密登陆

​ 1）.生成Maste节点公钥和私钥

​

ssh-keygen -t rsa

2）分发

  ssh-copy-id  localhost

  ssh-copy-id   hadoopNOde1

  ssh-copy-id  hadoopNOde2

  ssh-copy-id  hadoopNOde3

3)验证 在Master节点上登陆各节点，看是否需要密码

ssh  hadoopNode2
ssh   hadoopNode3

6.配置核心文件 core-siter.xml

[ambow@hadoopNode1 hadoop]$ vi core-site.xml

<configuration>
    <!--   配置默认FS  hadoop3.X 默认端口为9820   hadoop2.X  默认端口为8020  hadoop1.X  默认端口为9000    一般伪分布设置为localhost:8020 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoopNode1:8020</value>
    </property>

  <!-- 指定hadoop运行时产生文件存储的目录   会自动创建  不建议默认 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ambow/hdfs/data</value>
    </property>

</configuration>
  1. hdfs-site.xml

<configuration>

     <property>
          <!--  配置每个block的副本个数 默认3个  当是单节点时配置为1    不能配置态多，态多反而降低效果 -->
         <name>dfs.replication</name>
          <!--  伪分布式只能配1个副本 -->
         <value>3</value>
     </property>


         <property>
                <!--     设置第辅助主节点  2NN -->
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoopNode2:50090</value>
        </property>

        <property>
                <!--     检查点的路径  -->
                <name>dfs.namenode.checkpoint.dir</name>
                <value>/home/ambow/hdfs/namesecondary</value>
        </property>


</configuration>

8.mapred-site.xml

<configuration>
     <property>
         <!--  指定MapReduce使用Yarn资源管理框架  -->
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>
  1. yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->

     <property>
         <!--  指定yaran主要管理一个机节点  -->
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoopNode1</value>
     </property>

     <property>
          <!-- 使用mapreduce_shuffle服务    -->
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>

</configuration>

10.修改slaves文件 来指定当前集群中那些节点是DataNode节点 把节点的主机名添加到slaves文件中

[ambow@hadoopNode1 hadoop]$ vi $HADOOP_HOME/etc/hadoop/slaves



hadoopNode1
hadoopNode2
hadoopNode3

11.分发文件到其他节点

注：分发之前要停止所有服务

 网络复制:语法: scp  -r 源文件目录    用户名@主机名:目标路径
  -r 递归复制

[ambow@hadoopNode1 hadoop]$ scp  -r  $HADOOP_HOME/etc/hadoop   ambow@hadoopNode2:$HADOOP_HOME/etc/

[ambow@hadoopNode1 hadoop]$ scp  -r  $HADOOP_HOME/etc/hadoop   ambow@hadoopNode3:$HADOOP_HOME/etc/

注意：分发结束前一定要停止服务
分发完后要格式化

12.测试

start-all.sh（启动）

stop-all.sh（停止）

不言尘世
关注
专栏目录
Hadoop本地模式搭建
hangoer的博客
08-28 406
本地模式介绍 - 特点: 本地模式，即运⾏在单台机器上，没有分布式思想，使⽤的是本地⽂件系统。 - ⽤途: 本地模式主要⽤于对MapReduce程序的逻辑进⾏调试，确保程序的正确。由于在本 地模式下测试和调试MapReduce程序较为⽅便，因此，这种模式适宜⽤在开发阶段。 **1.2. 搭建过程** 平台软件说明 环境搭建: JDK的安装 检查是否已经安装过或是否有内置的JDK，如果有，将其卸载 # 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。 [root@qianfeng01 ~
Hadoop-本地模式搭建
伍婷的专栏
02-22 273
小编先跳过Hadoop的体系结构这段,后续会补上,先将环境搭建写出来,便于大家能够先对Hadoop有个初步认识做准备,今天主要是写本地模式搭建.本地模式不涉及HD...
Hadoop本地运行模式环境搭建
最新发布
2302_76471770的博客
09-10 1131
学校Hadoop实验课，课前已经配置好了，最后需要提交实验报告，只能重新配置一遍。
Hadoop搭建之本地模式
qq_45305583的博客
01-31 368
Hadoop CentOS JDK
Hadoop系列之hadoop环境搭建本地模式
LUFANZHENG的专栏
10-07 469
  1.1 Hadoop 环境搭建 Hadoop 的环境可以有多种方式，比如本地模式（standalone）、伪分布式、完全分布式以及 HA 模式。参考： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html https://blog.csdn.net/qq_26442...
三 Hadoop运行模式之本地运行模式和伪分布式模式
01-20
【标题】: Hadoop运行模式详解：本地模式与伪分布式模式 【描述】: Hadoop作为分布式计算框架，提供了多种运行模式以适应不同的场景。本文将深入探讨其中的本地运行模式和伪分布式模式，帮助读者了解这两种模式的...
Hadoop单机、伪分布与分布式集群安装详解：SSH免密、环境配置与实战教程
本教程详细介绍了如何在不同环境中安装和配置Hadoop，包括单机版、伪分布式和分布式集群。首先，确保具备SSH免密登录功能，因为Hadoop的管理和操作通常在Linux环境下进行，SSH是必不可少的通信工具。Ubuntu系统默认...
hadoop伪分布式集群搭建
08-28
### Hadoop伪分布式集群搭建详解 #### 一、概述 Hadoop是一款开源的大数据处理框架，主要用于处理海量数据。在实际应用中，Hadoop通常运行在由多台服务器组成的集群环境中，但为了方便学习和测试，可以搭建一个伪...
hadoop cdh版本伪分布式集群搭建图文教程
08-18
### hadoop cdh版本伪分布式集群搭建图文教程详解 #### 一、引言 随着大数据技术的发展，Hadoop已成为处理大规模数据集的核心工具之一。CDH（Cloudera Distribution Including Apache Hadoop）作为Hadoop的一个发行...
大数据学习——Hadoop本地模式搭建
qq_43687583的博客
08-19 2078
大数据学习之Hadoop本地模式搭建。
hadoop本地模式部署_Hadoop Local（本地）模式搭建
weixin_39887577的博客
12-20 187
1. 下载压缩包2. 配置环境变量提前先配置好java环境变量，编辑 vi /etc/profileexport HADOOP_HOME=/usr/soft/hadoop-2.7.2PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport PATH USER LOGNAME MAIL HOSTNAME HISTSIZE H...
Hadoop环境搭建-本地模式
Movle
04-06 183
1.Hadoop安装准备工作： (1)安装好linux操作系统 (2)关闭防火墙 (3)在linux上安装JDK 2.本地模式具体步骤： (1)解压hadoop安装包： tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module (2)配置环境变量： a.修改命令： vi ~/.bash_profile //修改环境变量的文件 b.添加的内容为...
Hadoop学习笔记（2）－搭建Hadoop本地模式
Xianming的专栏
04-17 9521
0.前言hadoop总共有三种运行方式。本地模式（Local (Standalone) Mode），伪分布式（Pseudo-Distributed Mode），分布式（Fully-Distributed Mode）。后面足一讲解搭建本地以及伪分布式，分布式读者自行搭建。 参考资料（官网为主，网络资料为铺）： http://hadoop.apache.org/docs/r2.6.4/hadoop-
搭建Hadoop本地模式、伪分布模式和全分布模式集群
三头六臂的博客
05-15 2611
1、环境准备 1.1、服务器和软件准备 服务器 内存 容量 系统 软件 版本 数量 linux 4g 100G centos8.0 jdk 1.8 5 hadoop 2.7.3 这里我用的云服务器（大家可以在自己的电脑安装虚拟机，配置内存可以调整为2g，容量的话60G就行），不方便透露服务器的IP，所以3台服务器的IP分别是A、B、C 、E和F hadoop软件下载可以到对应的官网下载hadoop-....
hadoop本地模式和伪分布式搭建
LonelyProgramme的博客
05-15 1615
rw-rw-r--. 1 xcj xcj 456364743 5月 15 14:16 hadoop-3.3.0-Centos7-64-with-snappy.tar.gz。-rw-rw-r--. 1 xcj xcj 195013152 5月 15 14:11 jdk-8u212-linux-x64.tar.gz。-- 设置副本数，默认是3，因为伪分布式只有一个节点，副本数不能大于节点数 -->-- 设置SecondaryNameNode在相应节点上的数据存放路径 -->
2,Hadoop环境搭建之本地模式
搁浅记忆的博客
07-14 672
二次JDK配置的原因： Ssh命令远程调用其它结点的时候，不会加载/etc/profile文件。我们一般部署JDK的时候将JAVA_HOME写在profile文件中，hadoop需要jdk，远程脚本启动其它结点的时候会失败。需要在hadoop中再做二次jdk配置。（就是因为远程调用对方的时候不会加载对方的etc/profile文件导致拿不到JAVA_HOME） 集群配置步骤分析： 分三步1，...
Linux Hadoop搭建指南：单机-伪分布式-完全分布详解
本篇文章是关于Linux Hadoop的搭建指南，它详细介绍了在Linux环境下搭建Hadoop集群的全过程，特别关注了三种不同的运行模式：单机模式、伪分布模式和完全分布式模式。首先，文章的前半部分着重于环境配置，这部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值