HADOOP之完全分布式配置

最新推荐文章于 2024-09-30 22:24:45 发布
最新推荐文章于 2024-09-30 22:24:45 发布
阅读量382 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45116578/article/details/118655693
版权
本文详细介绍了Hadoop2.x与Hadoop1.x的主要区别，包括MapReduce角色的变化和资源调度的分离。接着，文章提供了完全分布式Hadoop集群的搭建步骤，涵盖环境配置、集群分发脚本、配置文件详解以及启动和管理脚本的编写。此外，还强调了在生产环境中避免使用本地模式，并提供了伪分布式和完全分布式模式的说明。
摘要由CSDN通过智能技术生成

Hadoop1.x和Hadoop2.x的区别

Hadoop1.x主要组成部分是MapReduce 和 HDFS，HDFS负责数据存储，Mapreduce不仅负责分布式计算，而且负责资源的调度；
但是在Hadoop2.x中，HDFS依旧负责数据存储，
MapReduce只负责分布式计算，资源调度由Yarn负责，这样就减轻了MapReduce的负担。

Hadoop运行模式

  • 本地模式：单机运行，生产环境下不用。
  • 伪分布式：也是单机运行，但是具备Hadoop集群所有功能，一台服务器模拟一个分布式的环境。
  • 完全分布式：多台服务器组成的分布式环境。

Hadoop完全分布式搭建

搭建过程总览

一、 运行环境搭建

  1. 模板虚拟机环境准备
  2. 克隆三台虚拟机
  3. 安装Xshell和Xftp
  4. 安装JDK
  5. 安装hadoop

二、配置分布式集群

  1. 配置SSH无密登录
  2. 编写集群分发脚本
  3. 集群配置
  4. 启动集群
  5. 写集群启停脚本

模板虚拟机环境准备

  1. 安装VMware 和 CentOS（也可以用Ubantu，看个人对哪个更熟悉，笔者使用的是CentOS）；

  2. 新建虚拟机硬件设置
    IP地址：192.168.10.100
    主机名称：hadoop100
    内存：1G
    硬盘：50G

    如果计算机内存足够，可以设为2G或者4G。由于后期需要同时启动三个节点，且笔者内存不够，故选择1G
    硬件环境设置好后启动虚拟机，可以ping通外网即可。

  3. 安装epel-release(类似于一个软件仓库)

    yum install -y epel-release

  4. 关闭防火墙

    systemctl stop firewalld
systemctl disable firewalld.service

  5. 创建用户并修改密码
    出于安全考虑，尽量使用自己创建的新用户，少用root用户；密码尽量简单容易记住。

    useradd yss     //创建用户
passwd yss      //设置密码

  6. 配置用户使其具有root权限

    vim /etc/sudoers

    在%wheel这一行下添加：用户名 ALL=(ALL) NOPASSWD:ALL

  7. 卸载虚拟机自带的JDK

    rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

    解释： % rpm -qa：查询所安装的所有 rpm 软件包
  % grep -i：忽略大小写
  % xargs -n1：表示每次只传递一个参数
  % rpm -e –nodeps：强制卸载软件

  8. 重启虚拟机

    reboot

克隆三台虚拟机（以hadoop102为例）

1.在VMware中选择 虚拟机——>管理——>克隆 （克隆虚拟机时要关闭hadoop100 ）
在这里插入图片描述

  1. 修改克隆虚拟机的IP地址
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    修改部分：
    BOOTPROTO=static
    IPADDR=192.168.10.102
    GATEWAY=192.168.10.2
    DNS1=192.168.10.2
  2. 修改克隆虚拟机的主机名称
    vim /etc/hostname	%hadoop102
  3. 配置Linux克隆主机名映射hosts文件
    vim /etc/hosts

    添加：主机IP	主机名
  4. 重启hadoop102
    reboot
  5. 修改windows的主机映射文件hosts
    路径：C:\Windows\System32\drivers\etc

如果修改不成功，可以将文件拷贝到桌面，用Notepad++或者Pycharm或者IDEA修改（不要用记事本），然后拷贝回去替换重名文件就可以了。

安装Xshell 和Xftp

Xshell ：终端模拟器
Xftp：文件传输工具，用于在Windows和Linux间传输文件

安装JDK

  1. 使用 XShell 和 Xftp 将 windows 中的 JDK 导入 Linux 中的 /opt /software 下
  2. 解压JDK到/opt/module目录下
    tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
  3. 配置JDK环境变量
    sudo vim /etc/profile.d/my_env.sh
    环境变量配置如下：
  4. 使JDK生效
    source /etc/profile
  5. 测试
    命令行输入 java ，不报错即可。

安装Hadoop

  1. 使用 XShell 和 Xftp 将 windows 中的 hadoop 导入 Linux 中 /opt/software 下
  2. 解压JDK到/opt/module目录下
    tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
  3. 将hadoop添加到环境变量
    sudo vim /etc/profile.d/my_env.sh
    在这里插入图片描述
  1. 使其生效：
    source /etc/profile
  2. 测试
    hadoop version

配置SSH无密登录

  1. 生成公钥和私钥
    ssh-keygen -t rsa
  2. 将公钥拷贝到其他主机
    ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

编写集群分发脚本xsync

scp 可以实现服务器与服务器之间的数据拷贝。
rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

  1. 在/home/atguigu/bin 目录下创建 xsync 文件
    mkdir bin
cd bin
vim xsync

  1. 修改脚本权限

    chmod 777 xsync

  2. 将脚本复制到/bin 中，以便全局调用

    sudo cp xsync /bin/

  3. 同步环境变量配置（root 所有者）

    sudo ./bin/xsync/etc/profile.d/my_env.sh
source /etc/profile

  4. 将JDK和hadoop分发给hadoop103和hadoop104

    xsync /opt/module

集群配置

为了防止虚拟机卡顿，将NameNode、SecondaryNameNode和ResourceManger安装在不同主机，后续编写一个脚本同时启动hdfs和yarn

配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和workers
（hadoop3.x：workers	    hadoop2.x：slaves）
***！！！ 配置文件要仔细！！！***
  1. core-site.xml
    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 NameNode 的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop102:8020</value>
	</property>
	<!-- 指定 hadoop 数据的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-3.1.3/data</value>
	</property>
	<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>atguigu</value>
	</property>
</configuration>
  2. hdfs-site.xml
    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nn web 端访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop102:9870</value>
	</property>
	<!-- 2nn web 端访问地址-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop104:9868</value>
	</property>
</configuration>
  3. yarn-site.xml
    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 历史服务器端地址 -->
	<property>
	 <name>mapreduce.jobhistory.address</name>
	 <value>hadoop102:10020</value>
	</property>
	<!-- 历史服务器 web 端地址 -->
	<property>
	 <name>mapreduce.jobhistory.webapp.address</name>
	 <value>hadoop102:19888</value>
	</property>
</configuration>
  4. mapred-site.xml
    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration>
	<!-- 指定 MR 走 shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定 ResourceManager 的地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop103</value>
	</property>
	<!-- 环境变量的继承 -->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
		NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
		RED_HOME</value>
	</property>
	<!-- 开启日志聚集功能 -->
	<property>
	 <name>yarn.log-aggregation-enable</name>
	 <value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property> 
	 <name>yarn.log.server.url</name> 
	 <value>http://hadoop102:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为 7 天 -->
	<property>
	 <name>yarn.log-aggregation.retain-seconds</name>
	 <value>604800</value>
	</property>
</configuration>
  5. workers
    hadoop102
hadoop103
hadoop104
  6. 在集群上分发配置好的配置文件
    xsync /opt/module/hadoop-3.1.3/etc/hadoop/

启动集群

第一次启动：格式化NameNode

hdfs namenode -format

启动HDFS

sbin/start-dfs.sh

web端：http://hadoop102:9870

启动YARN

sbin/start-yarn.sh

web端：http://hadoop103:8088

验证启动成功

jps

如果显示NameNode、DataNode、SencondaryNameNode、NodeManger、ResourceManger都启动了，即为成功。

如果集群出现崩溃，可以停用集群，删除DataNode中的信息（可以在hdfs-site.xml中找到目录，默认为\tmp）,然后格式化，重新启动集群

写集群启停脚本

编写启停脚本：

cd bin/
	vim myhadoop.sh

在这里插入图片描述

chmod 777 myhadoop.sh

编写jps查看脚本

cd bin/
	vim jpsall


chomd 777 jpsall

集群分发

xsync bin/

启动集群：myhadoop.sh start

查看jps：jpsall
在这里插入图片描述

停用集群：myhadoop.sh stop

在这里插入图片描述

郁萌萌
关注
专栏目录
Hadoop-完全分布式配置-集群配置
TrueDei
01-30 986
本文是根据尚硅谷的视频教学，然后加上自己理解总结的。 配置hdfs和yarn如下： 所有的配置文件都在/opt/module/hadoop-2.7.7/etc/hadoop目录下。 [root@hadoop102 hadoop]# [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.7.7/etc/hadoop [root@hadoop102 h...
Hadoop完全分布式配置
sailing124856的博客
04-11 1541
Hadoop完全分布式配置环境准备Hadoop3.2.1VMwork+Centos7VMwork安装Linux系统（centos7）网络配置(centos7)二级目录三级目录 centos7+VMwork+Hadoop3.2.1+JDK 准备三台客户机（静态ip、关闭防火墙、主机名称） 环境准备 Hadoop3.2.1 进入Apache hadoop官网，选择hadoop 3.2.1 Binary...
hadoop全分布式配置
qq_54554851的博客
04-19 2380
hadoop全分布式配置
环境搭建--Hadoop完全分布式
最新发布
weixin_53545333的博客
09-30 1837
Hadoop的完全分布式安装
MOBA使用，hadoop完全分布式搭建
qq_54417407的博客
12-08 1328
Moba使用创建 打开moba创建新的连接服务 出现以下页面 你之前ping192.168.1.100成功没有，没有这就打不开 如果你是ping192.168.1.128成功，那个这个new session就要连接192.168.1.128 如果虚拟机没有启动也是出现下面情况，请直接输入R就可刷新 链接成功之后 差不多就是这样 我们需要在/opt下面创建两个文件夹 software：放软件的压缩包 创建software文件夹的命令：mkdir software module：放软..
Hadoop分布式配置
阿飞学弟的知识库
07-18 568
Hadoop分布式配置
Hadoop完全分布式配置.txt
11-05
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件...
hadoop 完全分布式配置
baidu_35184576的博客
09-14 194
1、客户机节点 （1） hadoop103 、hadoop104和hadoop105（VMware中虚拟机）。 （2）每台客户机新建用户：lys 登录密码：123123 ，确保一致。 （3）配置客户机静态ip地址 和主机名 主机名 ip ...
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
Hadoop全分布式集群的配置方法
weixin_42209572的博客
01-19 715
自己安装配置这个集群也是耗费了大量时间，避免后面的童鞋少走弯路，决定分享下自己的安装和配置经验。 1. Hadoop的安装和使用 Hadoop集群用到的工具 版本号 Hadoop Hadoop-2.7.1 Hbase Hbase-1.4.7 Spark ...
Hadoop配置—完全分布式
皮皮的雅客
08-07 350
Hadoop分为三种配置模式：独立模式(standalone|local)，伪分布模式(Pseudodistributed mode)，完全分布式(full distributed) 说在前面 工作环境：VMware® Workstation 12 Pro 12.5.6 build-5528349 linux版本：CentOS-7-x86_64-Minimal-1611.is...
hadoop分布式的配置
ma13103652217的博客
06-11 2918
hadoop分布式的配置 分析： >>准备3台以上机器(每台机器时间一致,相差30秒以内) >> 安装jdk >>配置环境变量 >>防火墙暂时关闭 >>安装hadoop >>配置环境变量 >>编辑hadoop配置文件 >>设置sshd免密码登陆 >>格式化...
【Hadoop】完全分布式安装
ht15177518806的博客
06-23 768
这个是最后改好的样子。
Hadoop完全分布式集群配置
weixin_49094787的博客
05-01 303
目录准备三台客户机模板虚拟机准备安装模板虚拟机配置关闭防火墙卸载虚拟机自带的JDK克隆虚拟机修改克隆机ip修改克隆机主机名安装JDK和Hadoop配置环境变量配置集群编写集群分发脚本xsyncssh无密登录配置文件群起集群配置workers启动集群配置历史服务器配置日志的聚集准备三台客户机 模板虚拟机准备 安装模板虚拟机 ip地址192.168.10.100 主机名称hadoop100 内存4...
Hadoop学习篇(一)——Hadoop分布式配置
qq_17732621的博客
03-08 209
上次总结中，我们介绍了实验环境，并总结了Hadoop的基础知识。本次学习承接上次学习内容继续。 上篇文章链接：Hadoop学习篇(一)——初识Hadoop & Hadoop单机配置 Hadoop学习篇(一) 说明：如涉及到侵权，请及时联系我，并在第一时间删除文章。 1.2.3.3 Hadoop分布式配置 这里分布式搭建主要步骤为： 虚拟机IP地址设置 这里通过设定虚拟机固定的IP地址，避免每一次启动都要动态搜索IP地址，使得宿主机每一次都要进行结点IP的修改，造成不必要的麻烦。 第一步：更改虚
Hadoop 完全分布式配置
荀彧丶的博客
08-07 366
1、scp  -r /sfot/* user@s101:/soft     将本机soft下文件拷贝到s101 soft下 安全实现两台机器文件复制但是 符号链接会变成硬链接（转变为文件） 2、rsync远程同步工具，用于备份和镜像，支持链接和设备，速度快，避免复制相同的文件。 rsync  -rlv /sfot/* user@s101:/soft
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值