Hadoop完全分布式配置

最新推荐文章于 2024-04-25 13:49:06 发布
最新推荐文章于 2024-04-25 13:49:06 发布
阅读量403 收藏 2
点赞数 2
文章标签： hadoop 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44618512/article/details/106974786
版权

1.安装centos7.0

1、安装步骤见文档:VmWare安装Linux（博客中有）
2、安装完成后，对网卡进行配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33
#ens33每个人可能不一样，要根据安装linux时候，系统分配的是什么
在这里插入图片描述

3、配置完成，重启网络

Systemctl restart network

4、关闭防火墙并禁用（下次开机启动后防火墙服务不再启动）
systemctl stop firewalld     #关闭防火墙
systemctl disable firewalld   #禁用防火墙
systemctl status firewalld    #查看防火墙状态，下面表示防火墙已关闭

在这里插入图片描述

2、MobaXterm连接linux

在这里插入图片描述
标记3为刚才配置的虚拟机IP地址
在这里插入图片描述
添加用户，并选择

3、修改主机名
      vi /etc/hostname 
 	  hostnamectl set-hostname hadoop1(可以使用该命令，让其立刻生效)

在这里插入图片描述

4、修改主机列表

vi /etc/hosts
在这里插入图片描述

5、创建software文件夹，上传所需的安装包

在这里插入图片描述

6、对文件进行解压、并安装到opt目录
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt
7、对文件改名
mv hadoop-2.6.0-cdh5.14.2/ hadoop
mv jdk1.8.0_221/ jdk8

在这里插入图片描述

8、配置Java环境

vi /etc/profile
在这里插入图片描述

9、让java环境配置生效

source /etc/profile

10、测试Java环境是否配置完成

java -version javac
在这里插入图片描述

11、生成秘钥，拷贝秘钥？

ssh-keygen -t rsa -P ""
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

12、配置Hadoop下的JAVA_HOME（注意etc是hadoop下面的）

cd /opt/hadoop/etc/hadoop
vi hadoop-env.sh
在这里插入图片描述
将原先默认的JAVA_HOME进行修改，如下所述：
在这里插入图片描述

13、配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.220.171:9000</value>
</property>
#配置hadoop临时数据的存储位置
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
14、配置hdfs-site.xml
<configuration>
#配置副本数量
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
#配置第二个namenode
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:50090</value>
</property>
</configuration>
15、配置mapred-site.xml
系统默认是mapred-site.xml.template，将它改成mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
</configuration>
16、配置yarn-site.xml
<configuration>
<!-- reducer获取数据方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
17、配置 vi slaves

在这里插入图片描述

18、hadoop环境变量配置
export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
19、让配置生效

source /etc/profile

20、查看配置是否生效

hadoop -version
在这里插入图片描述

21、格式化HDFS

hadoop namenode -format

21、启动hadoop

start-all.sh

22、启动历史服务

mr-jobhistory-daemon.sh start historyserver

23、查看hadoop进程,正常应该有以下几个

jps
在这里插入图片描述

24、以上就是配置，下面用浏览器访问一下

HDFS页面：http://192.168.220.171:50070
在这里插入图片描述
YARN的管理界面：http://192.168.220.171:8088
在这里插入图片描述
JobHistory界面:http://192.168.220.171:19888/

在这里插入图片描述

问题解决：

在这里插入图片描述

将software中hadoop-native-64-2.6.0.tar解压到hadoop/lib和hadoop/lib/native
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib/native/

在这里插入图片描述
备注:如果安装包后缀只有.tar 用 -xvf ; 安装包后缀有.tar.gz 用 -zxvf

集群配置

1、克隆两个虚拟机

使用的是VmWare，选中要克隆的虚拟机，右键，管理，克隆
在这里插入图片描述
克隆完成后，需要将克隆好的虚拟机的网络适配器的MAC重新生成一下

1、对网卡进行配置(配置的ip地址要不同,我三台电脑分别ip分别为171,172,173)

vi /etc/sysconfig/network-scripts/ifcfg-ens33

2、配置完成，重启网络

Systemctl restart network

3、关闭防火墙并禁用（下次开机启动后防火墙服务不再启动）
systemctl stop firewalld     #关闭防火墙
systemctl disable firewalld   #禁用防火墙
systemctl status firewalld    #查看防火墙状态，下面表示防火墙已关闭
2、修改克隆的两个主机名(我这里分别为hadoop2和hadoop3)

vi /etc/hostname

3、修改所有虚拟机的主机列表

vi /etc/hosts
在这里插入图片描述

4、对所有虚拟机生成秘钥，拷贝秘钥？(以171为例子，172和173一样配置)
ssh-keygen -t rsa -P "" 
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
5、对所有虚拟机开启远程免密登录配置

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@192.168.220.172
ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@192.168.220.173

6、远程登录(最好先重启一下，登录时不需要密码即可)
ssh -p22 root@192.168.220.172
ssh -p22 root@192.168.220.173
7、另外两个虚拟机一样配置一下
8、修改hadoop配置文件
 cd /opt/hadoop/etc/hadoop
  vi slaves

在这里插入图片描述
备注：hadoop1为主节点，一般不加在里面，由于是学习使用，所以无所谓

vi hdfs-site.xml

在这里插入图片描述
备注：设置副本为3，secondnamenode为hadoop2

9、往其他两个虚拟机拷贝刚才配置的文件
  scp etc/hadoop/hdfs-site.xml root@hadoop2:/opt/hadoop/etc/hadoop/hdfs-site.xml
  scp etc/hadoop/hdfs-site.xml root@hadoop3:/opt/hadoop/etc/hadoop/hdfs-site.xml
  scp etc/hadoop/slaves root@hadoop3:/opt/hadoop/etc/hadoop/slaves
  scp etc/hadoop/slaves root@hadoop2:/opt/hadoop/etc/hadoop/slaves
11、删除tmp文件夹，tmp是配置core-site.xml中的hadoop.tmp.dir(3个都要删)
cd /opt/hadoop
rm -rf tmp
12、格式化HDFS

hadoop namenode -format

13、启动hadoop

start-all.sh

14、查看各节点进程

jps
hadoop1截图
在这里插入图片描述
hadoop2截图
在这里插入图片描述
hadoop3截图

在这里插入图片描述

TmisuCno
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop完全分布式配置1
08-03
11. 在第一台节点上格式化并启动namenode12. 在第二个节点上格式化启动namenode13. 三台节点启动datanode14. 在第一台节点和第二
Hadoop 三大运行模式--＞本地运行模式
风口IT猪的成长录
09-04 732
Hadoop 运行模式-->本地运行模式Hadoop 运行模式本地运行模式 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产
HDFS完全分布式集群搭建与配置及常见问题总结（上）
zhaottttt的博客
09-15 1285
本篇描述关于HDFS完全分布式集群的搭建与配置相关步骤，还有一些常见问题，供大家参考。
从零开始Hadoop安装和配置（超详细图文步骤）
最新发布
2301_77836489的博客
04-25 4887
从零开始Hadoop安装和配置（超详细图文步骤）
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop集群安装及配置
m0_61364659的博客
10-13 8383
hadoop集群搭建
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1703
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
Hadoop完全分布式配置.txt
11-05
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件...
1.hadoop完全分布式配置步骤
03-10
本人自己整理的hadoop完全分布式步骤，完全行得通。
hadoop完全分布式部署
09-25
hadoop完全分布式安装整合hive，亲自在实际服务器安装测试成功
hadoop完全分布式系统配置
04-20
hadoop完全分布式系统配置
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4937
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
Hadoop环境搭建
美国梦中国心
06-29 6569
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
hadoop——环境配置
ply2003的博客
06-26 1875
之前上课的时候我就已经用VMware Workstation 15 player创过了一台虚拟机并做了Hadoop的伪分布式安装，所以就不再从头演示，直接在这基础上接着讲了。
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 8095
HADOOP环境搭建过程详解
Hadoop完全分布式集群——Hadoop 配置
weixin_42264536的博客
05-02 8721
前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s
Hadoop集群配置（最全面总结）
weixin_30748995的博客
02-06 5052
Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/c...
【云平台技术】Hadoop全分布式安装与配置
qq_51941741的博客
06-29 9600
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK（所有虚拟机都要操作） 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK
Hadoop完全分布式配置教程
"Hadoop完全分布式搭建教程" 在大数据领域，Hadoop是一个不可或缺的开源框架，它主要用于处理和存储海量数据。本教程详细介绍了如何在完全分布式模式下搭建Hadoop环境，适合初学者入门。我们将从虚拟机安装、JDK与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值