hadoop分布式部署(Hadoop-3.3)

最新推荐文章于 2024-08-25 12:13:51 发布
最新推荐文章于 2024-08-25 12:13:51 发布
阅读量1.5k 收藏 12
点赞数 10
分类专栏： 大数据 文章标签： hadoop hdfs 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43558498/article/details/116049445
版权
1、单机模式、伪分布式、分布式的区别。

单机模式： 只在一台机器上运行，储存采用本地文件系统，没有采用HDFS。
伪分布式： 储存采用HDFS，但是HDFS的名称节点和数据节点都在同一台机器上。
分布式： 储存采用HDFS，而且HDFS的名称节点和数据节点都在不同的机器上。

2、分布式规划
  • 一个完全的Hadoop集群需要三台机器完成
  • 一台主机系统作Master
  • 另外两台为：slave1、slave2
  • 三台主机机器处于同一局域网下。
  • 三台主机的用户名均为hadoop
  • 三台主机都能相互Ping通
主机角色主机名ip地址运行进程
主节点master192.168.1.101NameNode、ResourceManager、SecondaryNameNode
从节点slave1192.168.1.102DataNode、NodeManager
从节点slave2192.168.1.103DataNode、NodeManager
3、准备环境

部署需要三台虚拟机，可以在一台虚拟机上把基础的环境搭好再克隆三份。
在配置环境之前可以先配好XShell连接，yum换源。

（1）克隆前准备环境：
  1. 操作系统:CentOS7（XShell连接）
  2. JDK1.8安装，并配置环境变量（查看JDK安装教程）
  3. 添加hadoop用户，并设置管理员权限，后面的所有操作都是用hadoop这个用户
useradd -m hadoop -s /bin/bash #创建hadoop用户
passwd hadoop #设置密码
chmod -v u+w /etc/sudoers  #修改sudoers文件读写权限（默认只读）
vi /etc/sudoers

root    ALL=(ALL)       ALL    #找到这一行
hadoop  ALL=(ALL)       ALL    #添加这一行
#保存退出
chmod -v u-w /etc/sudoers    #删除sudoers的写的权限
  1. hosts文件修改
vi /etc/hosts
#在文件中添加下面几行，IP地址自己规划好，为对应主机的IP
192.168.183.101 master
192.168.183.102 slave1
192.168.183.103 slave2
（2）克隆后配置
  1. 配置网络

将规划好的IP地址对应修改就行（参考这篇文章）
如果克隆前配置好的话，只需要改一下IP地址就行了
记得重启网卡

  1. 修改hostname

在对应主机上执行命令
看不到变化重启一下就可以了

hostnamectl set-hostname master     #master主机

hostnamectl set-hostname slave1     #slave1主机

hostnamectl set-hostname slave2     #slave2主机
  1. 互Ping 其他主机，可以Ping通就OK。
    在这里插入图片描述
  2. SSH免密登录

SSH免密登录：是主节点master能够不需要输入密码，直接ssh登录到从节点slave1、slave2上
默认已经安装opssh-server服务，没有安装的自行安装

ssh-keygen -t rsa  	#有提示直接Enter即可
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#ssh-copy-id 将你的公共密钥填充到一个远程机器上的authorized_keys文件中
ssh-copy-id slave1 #传给slave1
ssh-copy-id slave2 #传给slave2

查看文件权限,不对免密登录不会生效。三台主机都要修改

[hadoop@slave1 ~]$ ll -a
# .ssh文件夹权限应为700
drwx------. 2 hadoop hadoop   29 4月  24 13:20 .ssh
[hadoop@slave1 ~]$ cd .ssh/
[hadoop@slave1 .ssh]$ ll
# authorized_keys文件权限应为600
-rw-------. 1 hadoop hadoop 395 4月  24 13:20 authorized_keys

修改文件权限

chmod 700 ~/.ssh/
chmod 600 ~/.ssh/authorized_keys

完成后登录测试一下。

[hadoop@master .ssh]$ ssh localhost
Last login: Sat Apr 24 13:19:36 2021 from master
[hadoop@slave1 ~]$ exit
[hadoop@master .ssh]$ ssh slave1
Last login: Sat Apr 24 13:20:36 2021 from master
[hadoop@slave1 ~]$ exit
[hadoop@master .ssh]$ ssh slave2
Last login: Sat Apr 24 13:21:20 2021 from master
[hadoop@slave2 ~]$ exit
4、安装Hadoop

我们现在只在主节点上安装hadoop，然后将配置好的hadoop再分发给从节点。

（1）上传hadoop文件

可以使用XFTP上传hadoop安装文件

（2）解压文件，并修改文件夹名
[hadoop@master ~]$tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/
[hadoop@master ~]$ cd /usr/local/ #切换工作路径
[hadoop@master local]$ sudo mv hadoop-3.3.0 hadoop #修改文件夹名
[hadoop@master local]$ sudo chown -R hadoop ./hadoop #修改文件权限
（3）配置环境变量

三台主机都要配置一次hadoop和java环境变量

[hadoop@master local]$ vi ~/.bashrc 
#添加这几行
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

没有java环境变量的也添加一下。

export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

让环境变量生效

[hadoop@master local]$ source ~/.bashrc
5、修改Hadoop配置文件

在master主机上修改Hadoop配置，这些配置文件都位于/usr/local/hadoop/etc/hadoop目录下。

（1）修改workers

hadoop2.x 中是slaves 这个文件
hadoop3.x 中已被修改为 workers
把DataNode 的主机名写入该文件，每行一个
如果加入localhost 则master 主机即做名称节点又作数据节点。

slave1
slave2
（2）修改hadoop-env.sh

在这两个文件中都取消注释JAVA_HOME那行，把java的实际路径写上
否则启动集群时，会提示路径找不到

vi hadoop-env.sh
#添加这一行
export JAVA_HOME=/usr/local/jdk1.8/
（3）修改core-site.xml 文件
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>临时文件夹</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        <description>定义默认的文件系统主机和端口</description>
    </property>
</configuration>

临时文件夹需要自己手动创建

[hadoop@master hadoop]$ cd /usr/local/hadoop/
[hadoop@master hadoop]$ mkdir tmp
（4）修改hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
       <description>定义HDFS对应的HTTP服务器地址和端口</description>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/dfs/name</value>
       <description>namenode上存储hdfs名字空间元数据 </description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/dfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
        <description>冗余存储的副本数，即一份数据保存2份副本</description>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>falser</value>
        <description>默认为true,设置为false可以不要检查权限就生成dfs上的文件</description>
    </property>
</configuration>

配置中的 /usr/local/hadoop/dfs/name、/usr/local/hadoop/dfs/name文件夹需要自己手动创建

[hadoop@master hadoop]$ cd /usr/local/hadoop/
[hadoop@master hadoop]$ mkdir -p dfs/name
[hadoop@master hadoop]$ mkdir -p dfs/data
（5）修改mapred-site.xml

mapred-site.xml文件如果不存在
复制mapred-site.xml.template 再修改文件名

[hadoop@master hadoop]$ cp mapred-site.xml.template mapred-site.xml

然后编辑mapred-site.xml文件

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>指定mapreduce运行在yarn平台，默认为local</description>
    </property>
</configuration>
（6）修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>
                NodeManager上运行的附属服务
                指定NodeManager获取数据的方式是shuffle
                需配置成mapreduce_shuffle，才可运行MapReduce程序             
       </description>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
        <description>
                指定resourcemanager所在的hostname
                即指定yarn的老大即ResourceManger的地址
        </description>
    </property>
</configuration>
6、打包分发

将hadoop文件打包，然后分发给 两个从节点

[hadoop@master local]$ tar -zcf ~/hadoop.master.tar.gz ./hadoop
[hadoop@master local]$ cd ~
[hadoop@master ~]$ scp ./hadoop.master.tar.gz hadoop@slave1:/home/hadoop/
[hadoop@master ~]$ scp ./hadoop.master.tar.gz hadoop@slave2:/home/hadoop/

如果原来安装过hadoop要删除掉,两个主机都要进行同样操作。

[hadoop@slave1 ~]$ sudo rm -rf /usr/local/hadoop/
[hadoop@slave1 ~]$ sudo tar -zxvf hadoop.master.tar.gz -C  /usr/local/
[hadoop@slave1 ~]$ sudo chown -R hadoop /usr/local/hadoop
7、启动Hadoop集群

进入到master主机，先格式化名称节点，然后启动hadoop

[hadoop@master ~]$ cd /usr/local/hadoop
[hadoop@master hadoop]$ bin/hdfs namenode -format #格式化名称节点
[hadoop@master hadoop]$ sbin/start-all.sh	#启动hadoop

查看master节点上的进程

[hadoop@master hadoop]$ jps
2707 ResourceManager	#ResourceManager是Yarn集群主控节点(yarn的老大)
4758 NameNode			#名称节点
4982 SecondaryNameNode	#第二名称节点
5366 Jps

查看slave1节点上的进程

[hadoop@slave1 local]$ jps
2085 DataNode	  #数据节点
2184 NodeManager  #NodeManager管理一个YARN集群中的每一个节点(yarn的小弟)
2585 Jps

查看slave2节点上的进程

[hadoop@slave2 local]$ jps
3552 DataNode	  #数据节点
3651 NodeManager  #yarn的小弟
3851 Jps

参考资料：
http://dblab.xmu.edu.cn/blog/1177-2/#more-1177
https://blog.csdn.net/m0_46209092/article/details/105352872
https://blog.csdn.net/sjmz30071360/article/details/79889055

＿贪多必失
关注
专栏目录
大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署
HAO的Blog
03-29 2230
安装包：虚拟机联网后可直接通过浏览器进行下载 若在PC机 则需通过工具上传至虚拟机中 （使用xshell或xftp）使用tar命令解压安装包（我的安装包统一放在/opt/software目录下，解压在/opt/module目录）通常出现的第一个此虚拟机使用的虚拟网卡，名称为ens33 对这个网卡的配置文件进行修改。注：本次安装过程使用了简易安装，不使用的话是需要自行选择需要安装的插件和软件。使用vim对 /etc/profile 进行编辑，将以下内容写入。使用命令查看jdk版本，与安装包相符说明配置成功。
hadoop3.3.0完全分布式安装
m0_64347807的博客
05-23 763
hadoop集群 1. 安装： 1.1 安装工具准备： jdk_1.8（已经安装完毕） hadoop_3.3.0 （压缩包） 虚拟机安装：vim （查看配置文件带有高亮） yum install vim -y 1.2 集群规划： hadoop1 hadoop2 hadoop3 HDFS NameNodeDataNode DataNode SecondaryNameNodeDataNode YARN NodeManager ResourceManagerNodeManager Node
Apache Hadoop （hadoop-3.3.3.tar.gz）
05-28
Apache Hadoop （hadoop-3.3.3.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，因此在计算机集群之上提供高可用性服务，每台计算机都可能容易出现故障。
Hadoop-3.3.0部署配置
zhangjunli的博客
11-25 2800
1、下载 Hadoop 下载地址：http://hadoop.apache.org/ Hadoop 安装地址：/usr/local/hadoop/hadoop-3.3.0 2、 解压 Hadoop 到指定文件夹 tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop3、 查看 Hadoop 版本信息 cd /usr/hadoop/local/hadoop-3.2.0 ./bin/hadoop version4. Hadoop 配置4.1 建立目录 在 /usr
Hadoop 分布式集群搭建
最新发布
slb190623的博客
08-25 1194
Hadoop 分布式集群搭建
hadoop 3.3.3集群安装部署
以茉萱的博客
12-13 1640
hadoop从发布至今，已经更新到第三个大版本，除了从1.0到2.0版本有着非常大的改进更新外，到3.0后的版本都是不断的改善优化。1.0版本yarn和mr引擎都是在一起的，对于资源的调优不透明也不太便利，2.0版本后yarn和mr引擎解耦，用户可用根据自身环境资源的情况自行配置参数调优，mr专门负责处理计算，yarn专门负责资源管理，另外还增强了高可用性以及hdfs响应速度等，之后的版本就没怎么关注，也没怎么听过关于hadoop的一些特别大的改进，如有疏漏的地方，大家可用及时补充讨论。
Hadoop完全分布式搭建（Hadoop-3.3.0)
qq_73866060的博客
03-31 1920
本教程讲解Hadoop-3.3.0在Ubuntu系统下集群的搭建。在正式开始之前，需要自己先安装好一台虚拟机。
Hadoop3.3.1完全分布式部署
jiangbenchu的博客
02-23 1740
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 结构框架 推荐架构 一个提供高可用的获取应用数据的分布式文件系统。从字面上来看，SecondaryNameNode 很容易被当作是 NameNode 的备份节点，其实不然。可以通过下图看 HDFS 中 SecondaryNameNode 的作用。NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
hadoop-3.1.3-mac-native_lib.zip
02-23
总结来说，这个“hadoop-3.1.3-mac-native_lib.zip”文件解决了macOS用户在部署和运行Hadoop时可能遇到的本地库兼容性问题。通过编译特定的本地库，用户可以确保Hadoop在macOS环境下正确运行，充分利用其分布式计算...
hadoop3.3.0-winutils所有bin文件
02-27
2. `hdfs`: 与Hadoop分布式文件系统（HDFS）交互的命令行工具，支持文件的创建、删除、复制等操作。 3. `yarn`: 用于管理和调度YARN（Yet Another Resource Negotiator）资源的命令行工具，YARN是Hadoop的第二代资源...
hadoop-3.0.3
10-24
hadoop-3.0.3 的linux 安装包！
hadoop 使用 maven3.3 仓库 3
05-23
hadoop 使用 maven3.3 仓库3
hadoop-3.3.0.tar.gz
08-21
hadoop-3.3.0.tar.gz
hadoop3.3.0版本搭建
Firewine 的博客
09-16 782
文章目录hadoop——3.2.1 版本默认的端口伪分布式设置配置文件分布式操作配置文件启动命令关闭命令，相反即可注: hadoop——3.2.1 版本 默认的端口 namenode ： 9870 resourceManager : 8088 mapreduce jobhistory server : 19888 伪分布式 设置配置文件 core-site.xml （记得设置hadoop-env.sh 的java环境） <configuration> <propert
Hadoop3.3.0完全分布式部署
欢迎你的到来，我们一起加油！！！
04-25 729
什么是Hadoop？ Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS
hadoop3.3.0安装详解
u013543671的博客
08-10 1688
目录 一、Hadoop3.3安装 1.1下载hadoop 1.2解压hadoop 1.3新建目录 1.4修改hadoop配置文件 1.5修改/etc/profile 二、启动hadoop 2.1hadoop初始化 2.2启动hadoop 三、测试hadoop 四、使用hadoop 背景本地vmware安装三台centos7的虚拟机，主机名和ip地址分别为hserver1:192.168.127.128；hserver2:192.168.127.129；hserver3:192..
hadoop 3.3大数据集群搭建系列1-安装hadoop
只是甲的博客
11-16 1606
hadoop大数据平台搭建 MapReduce HDFS Yarn Hadoop Common
hadoop-3.3.0 集群搭建
小柒心得
07-07 462
hadoop集群搭建
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值