Linux centos 配置hadoop集群

已于 2022-03-02 23:14:05 修改
阅读量943 收藏 3
点赞数 3
分类专栏： Hadoop 文章标签： hadoop centos linux
于 2021-03-26 17:10:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44851055/article/details/115241220
版权

LinuxCentos7配置hadoop

博客地址
准备条件

  1. apache-hadoop-3.3.0 jar包
    hadoop-3.3.0(点击下载)
  2. jdk1.8
    jdk1.8(点击下载)

另外，需要准备三台虚拟机，分别命名为hadoop1,hadoop2,hadoop3,并且将这三台虚拟机这样配置接点，原理就不多说了。

hadoop1hadoop2hadoop3
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager		NodeManager

开始配置

  1. 配置/etc/hostname，更改为hadoop1。目前这些步骤只用配置一台虚拟机，之后的通过虚拟机克隆得到haoop2,hadoop3。注意，在克隆之后，仍然要修改对应的主机名。

    [root@localhost ~]# yum install vim -y
#先下载vim，方便编辑查看区别
[root@localhost ~]# vim /etc/hostsname

    将这里的这行删掉，然后修改成hadoop1在这里插入图片描述

  2. 配置/etc/hosts

    [root@localhost ~]# vim /etc/hosts

    在这里插入图片描述
    修改成这样，先填入另两个虚拟机的地址，因为是使用克隆，所以三台虚拟机之间的ip地址相差不过，只用小作修改。修改好以后重启一下虚拟机就生效了。

  3. 配置jdk1.8

    可以通过上面给的连接下载然后通过工具传到linux上面，或者使用下面这个命令下载jdk，跟着顺序来，一步步的来，别慌。

    [root@hadoop1 ~]# yum install wget -y

    [root@hadoop1 ~]# mkdir /java
[root@hadoop1 ~]# cd /java
[root@hadoop1 java]# wget -i -c http://ljy0427.online/install/jdk1.8-linux.tar.gz
#下载完成之后，解压
[root@hadoop1 java]# tar -zxvf jdk-8u144-linux-x64.tar.gz
#解压成功之后，重命名文件夹
[root@hadoop1 java]# mv jdk1.8.0_144 java

    配置环境变量,在/etc/profile.d/目录下，自己创建一个.sh文件

    [root@hadoop1 java]# vim /etc/profile.d/my_env.sh
#添加如下东西

    export JAVA_HOME=/java/java
    export PATH=$PATH:$JAVA_HOME/bin
    添加了以后，保存退出

    #重新刷新配置文件
[root@hadoop1 java]# source /etc/profile
#测试配置成功，只要出现版本号就说明配置成功了
[root@hadoop1 java]# java -version

  4. 配置hadoop

    下载并解压apache-hadoop3.3.0

    [root@hadoop1 java]# mkdir /opt/hadoop
[root@hadoop1 java]# cd /opt/hadoop

    如果之前没有下载的话，就在这个/opt/hadoop使用下面这个命令下载吧。

    [root@hadoop1 hadoop]# wget -i -c http://ljy0427.online/install/hadoop-3.3.0.tar.gz

    解压这个解压包

    [root@hadoop1 hadoop]# tar -zxvf hadoop-3.3.0.tar.gz
#重命名解压包
[root@hadoop1 hadoop]# mv hadoop-3.3.0 hadoop

    配置hadoop环境变量

    [root@hadoop1 hadoop]# vim /etc/profile.d/my_env.sh

    添加如下内容
    export HADOOP_HOME=/opt/hadoop/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    在这里插入图片描述

    [root@hadoop1 hadoop]# source /etc/profile
#测试配置是否成功
[root@hadoop1 hadoop]# hadoop
#输入这个命令，看是否弹出一堆东西来

    在这里插入图片描述

    #之后先创建一些文件夹放着
[root@hadoop1 hadoop]# mkdir /opt/hadoop/hadoop_data
[root@hadoop1 hadoop]# mkdir /opt/hadoop/hadoop_data/tmp
[root@hadoop1 hadoop]# mkdir /opt/hadoop/hadoop_data/var
[root@hadoop1 hadoop]# mkdir /opt/hadoop/hadoop_data/dfs
[root@hadoop1 hadoop]# mkdir /opt/hadoop/hadoop_data/dfs/name
[root@hadoop1 hadoop]# mkdir /opt/hadoop/hadoop_data/dfs/data

  5. 关闭防火墙，参考下面这篇博文
    关闭防火墙

  6. 关闭了防火墙之后，就可以克隆虚拟机了

  7. 在克隆之前，再来一个操作，内行人看了都直呼666的操作，看好了

    创建一个脚本名字为,xsync,跟着我的顺序来，一步步的来，莫慌。

    [root@hadoop1 hadoop]# mkdir /root/bin
[root@hadoop1 hadoop]# cd /root/bin
[root@hadoop1 bin]# vim xsync

    在里面添加如下脚本

    #!/bin/bash	
if [ $# -lt 1 ]
then 
	echo Not Enough Arguement!
	exit;
fi
#注意，如果你的主机名命名和我不一样，下面这三个更换成你的主机名
for host in hadoop1 hadoop2 hadoop3
do 
	echo =================  $host  =================  	
	for file in $@
	do
		if [ -e $file ]
			then
				pdir=$(cd -P $(dirname $file); pwd)
				fname=$(basename $file)
				ssh $host "mkdir -p $pdir"
				rsync -av $pdir/$fname $host:$pdir
			else
				echo $file does not exists!				
		fi
	done
done	

    #创建完成之后，给这个脚本添加权限
[root@hadoop1 bin]# chmod +x xsync

#可以克隆了，克隆的时候，一定要将虚拟机关机才可以。
#克隆完成之后，每台虚拟机都需要下载下面这个工具
[root@hadoop1 bin]# yum install rsync -y

  8. 克隆完成之后，根据自己的虚拟机所分配的地址，修改三台虚拟机的/etc/hosts中的ip地址，以及/etc/hostname中的主机名

实现三台主机之间免密登录

参考我这篇博文
ssh免密登录
最好三台虚拟都使用ssh-copy-id hostname

修改hadoop的配置文件

  1. 为了保证没啥大问题，在hadoop的hadoop-env.sh中添加JAVA_HOME的路劲

    [root@hadoop1 ~]# cd /opt/hadoop/hadoop/etc/hadoop/
[root@hadoop1 hadoop]# vim hadoop-env.sh

    修改之前
    修改之后
    在这里插入图片描述

  2. 修改hdfs-site.xml

    [root@hadoop1 hadoop]# vim hdfs-site.xml
#如果你设置的主机名和我的不同，那记得将我这个配置文件里面的hadoop1替换成你对应的主机名。

    在这里插入图片描述

    在<configuration> 里面添加以下东西

    	<!-- 指定NameNode的web端访问地址 -->
<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop1:9870</value>
</property>
	
	<!-- 设置SecondaryNameNode(2NN)的web端访问地址 -->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop3:9868</value>
</property>


<property>
   <name>dfs.name.dir</name>
   <value>/opt/hadoop/hadoop_data/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>/opt/hadoop/hadoop_data/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>

<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>

<property>
      <name>dfs.permissions</name>
      <value>true</value>
      <description>need not permissions</description>
</property>

  3. 复制并且修改mapred-site.xml

    [root@hadoop1 hadoop]# cp mapred-site.xml mapred-site.xml.template
[root@hadoop1 hadoop]# vim mapred-site.xml

    也是一样的在<configuration> 里面添加以下东西

    <!-- 指定MapReduce程序运行在Yarn上的地址 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>
<property>
   <name>mapred.job.tracker</name>
   <value>hadoop1:49001</value>
</property>

<property>
      <name>mapred.local.dir</name>
       <value>/opt/hadoop/hadoop_data/var</value>
</property>

  4. 配置yarn-site.xml，跟上面一样，在同样的位置添加以下东西

    [root@hadoop1 hadoop]# vim yarn-site.xml

    <!-- 指定MapReduce走shuffle -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop2</value>
</property>



<property>
	<description>The address of the applications manager interface in the RM.</description>
	<name>yarn.resourcemanager.address</name>
	<value>${yarn.resourcemanager.hostname}:8032</value>
</property>

<property>
	<description>The address of the scheduler interface.</description>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>${yarn.resourcemanager.hostname}:8030</value>
</property>

<property>
	<description>The http address of the RM web application.</description>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>${yarn.resourcemanager.hostname}:8088</value>
</property>

<property>
	<description>The https adddress of the RM web application.</description>
	<name>yarn.resourcemanager.webapp.https.address</name>
	<value>${yarn.resourcemanager.hostname}:8090</value>
</property>

<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>${yarn.resourcemanager.hostname}:8031</value>
</property>

<property>
	<description>The address of the RM admin interface.</description>
	<name>yarn.resourcemanager.admin.address</name>
	<value>${yarn.resourcemanager.hostname}:8033</value>
</property>


<property>
	<name>yarn.scheduler.maximum-allocation-mb</name>
	<value>2048</value>
	<discription>每个节点可用内存,单位MB,默认8182MB</discription>
</property>

<property>
	<name>yarn.nodemanager.vmem-pmem-ratio</name>
	<value>2.1</value>
</property>

<property>
	<name>yarn.nodemanager.resource.memory-mb</name>
	<value>2048</value>
</property>

<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>

  5. 配置core-site.xml,同上

    [root@hadoop1 hadoop]# vim core-site.xml

    	<property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop/hadoop_data/tmp</value>

        <description>Abase for other temporary directories.</description>

   </property>

   <property>

        <name>fs.default.name</name>
		<!-- hadoop1的内网IP地址 -->
        <value>hdfs://hadoop1:9000</value>

   </property>

	
	
	<!-- 指定NameNode的地址 -->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8020</value>
	</property>

  6. 配置workers，将三个主机名添加进去。

    [root@hadoop1 hadoop]# vim workers

    记住必须严格按照我的效果图，主机名称后面不准有空格，只能换行！
    在这里插入图片描述

  7. 同步这些配置文件到hadoop2,hadoop3上

    到了这里，有些人已经崩溃了，还要配两次？？？
    要配置两遍，那是对于别人，看好我的操作，一次就好。
    前面不是创建了一个脚本xsync么？现在到它起作用的时候来了。看好了，别眨眼，记得直呼666。操作如下

    [root@hadoop1 hadoop]# cd ..
[root@hadoop1 etc]# xsync hadoop/

    在这里插入图片描述

    怎么样，结果跟我这个一样不一样，你就看看另外两台虚拟机里面的这些对应的配置文件，是不是修改了，我就问你6不6，值不值得点个赞，加个关注？？

  8. 再修改/sbin目录下的几个配置文件

    [root@hadoop1 etc]# cd ../sbin
[root@hadoop1 sbin]#

    修改start-dfs.sh,以及stop-dfs.sh,在这两个文件的开头加上以下配置

    HDFS_DATANODE_USER=root
HADOOP_SECURE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

    在这里插入图片描述
    修改start-yarn.sh,以及stop-yarn.sh,在这两个文件的开头加上以下配置

    YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=root
YARN_NODEMANAGER_USER=root

    在这里插入图片描述

    #又分发下已配置的配置文件到hadoop2,hadoop3
[root@hadoop1 sbin]# cd ..
[root@hadoop1 hadoop]# xsync sbin/

启动Hadoop

  1. 初始化hadoop

    [root@hadoop1 hadoop]# hadoop  namenode  -format

    在这里插入图片描述

  2. 启动集群

    [root@hadoop1 hadoop]# start-all.sh

    在这里插入图片描述

    然后再输入jps看看

    [root@hadoop1 hadoop]# jps

    在这里插入图片描述

    只要运行结果如上，都说明成功了，那么现在去浏览器里面输入hadoop1这个主节点的ip地址访问试试，我的是http://192.168.75.146:9870/
    在这里插入图片描述
    在这里插入图片描述
    这里表示存在三个节点，说明成功了，但是这里访问8088端口，却访问不了,这个时候就会有人认为又出问题了，其实没有。仔细回顾上面在一开始配置hadoop时，我弄了张表格，发现ResourceManager这个节点是配置hadoop2上面的。而这个东西，是要手动到hadoop2上面去运行的，才会出来。所以这个时候切换到hadoop2这台主机启动一下。

  3. hadoop2启动ResourceManager

    [root@hadoop2 hadoop]# start-yarn.sh

    然后再使用jps查看一下

    [root@hadoop2 hadoop]# jps

    在这里插入图片描述

这不就成功了！！！然后再在浏览器里面输入hadoop2的主机地址，端口使用8088，看看效果吧,我的是http://192.168.75.142:8088/cluster

在这里插入图片描述

er在这里插入图片描述在这里插入图片描述
而且可以很清楚的在这里看到每台服务器的状态。

总结

可能也有其他教程，比我这个简单。但是我个人觉得，搭建一个hadoop就需要这样，使用三台服务器，一台当做NameNode，一台当做SecondaryNameNode，最后一台当做ResourceManager，这样三台服务器都担任着不同的角色，使得其他服务的负荷不重，能够尽量的保证整个hadoop的顺畅运行（个人观点，不喜勿喷）

江河三千里。
关注
专栏目录
Linux系统CentOS 7下载安装Hadoop以及初步配置
雨打芭蕉的博客
03-26 2136
      基于当前大数据火爆的就业前景，开始琢磨Hadoop相关的知识，本文用于记录学习Hadoop开发环境配置中的步骤，帮助自己以及有需要的其他人。本文的采用的是传统的解压包方式和Linux标准命令方式，本文记录的只是Hadoop相关安装配置（不包含JDK），配置的基本环境是Linux版本为CentOS 7，Hadoop版本为Hadoop2.8.0，Linux编译器Xshell5。1、下载Ha...
在Centos7上配置Hadoop集群
weixin_45654405的博客
02-22 2092
硬件 创建虚拟机 自定义 先不要安装操作系统,后面再装 选择对应系统,以及硬件配置 虚拟机存放位置 磁盘存放位置 总核心数不要超过电脑的配置(2核n线程 硬盘50G) 软件 打开虚拟化 关闭hyper-V delete进入bios (SVM选项) 配置操作系统(centos) 在官网下载一个镜像 在设备的CD/DVD插入系统 GNOME桌面 或者 最小安装 分配磁盘 /boot 启动 1g 文件系统 ext4 /swap 共享内存 4g / 根目录 剩下的内容 KDUMP 系统崩溃备份一部分数据 网络和主机
linux(centos 6.5)hadoop集群搭建。
04-27
包含hadoop-2.6.4.tar包、搭建集群详情文档(每一步的步骤及代码、搭建前的环境配置)。亲测可成功运行。
Linux(CentOS7)下Hadoop的安装与使用
Java进阶之路
07-02 2732
一、安装文件准备 这里我使用的是hadoop-2.6.0.tar.gz这个版本，可以直接到下面网盘里下载使用 链接: https://pan.baidu.com/s/1tj26EGUBnpTZnbA0qkb77Q 提取码: sepa 二、修改主机名为master 2.1 这里为了后面使用方便，先将主机名改为master： vim /etc/hostname 2.2 修改hosts...
Centos7下hadoop集群安装配置
Alidayu
06-27 238
一般hadoop集群通常是由一组机器组成，一般3~5（不小于3个节点）台机器就可以组成一个hadoop集群了。准备了3台装好的虚拟机192.168.0.110、192.168.0.111、192.168.0.112，由于需要依赖JDK所以先配置好了（此处安装的版本是JDK1.8，百度网盘提取码：i3cw），如果不会的自行百度安装。 1、安装 1.1下载安装包 此处安装的版本是HADOOP3.3.0，百度网盘提取码：tvwq 官网直接下载：http://www.apache.org/dyn/close
Linux centos 6配置hadoop 集群搭建笔记教程
qq_55470303的博客
12-30 2083
一、安装JDK 1.上传jdk-8u121-linux-x64.tar.gz文件到/opt目录 2.解压jdk文件 tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local 3.配置环境变量 vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_121 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAV
虚拟机VMware下centos配置hadoop集群
05-24
虚拟机VMware下centos配置hadoop集群 在本文中，我们将详细介绍如何在虚拟机VMware下使用三个CentOS系统来配置Hadoop集群，包括两个slave节点和一个master节点。 一、JDK安装 在开始配置Hadoop集群之前，我们...
基于centos的大数据hadoop集群搭建说明文档
最新发布
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)
热门推荐
pucao_cug的专栏
05-11 11万+
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) 版本：CentOS7 Hadoop2.8.0 JDK1.8
Centos上Hadoop集群安装及配置详细教程
gwk1234567的博客
10-23 952
ps：写此博客记录Hadoop集群的安装配置的步骤，方便日后学习回顾，也希望给各位带来帮助。 Hadoop集群的安装与配置安装环境系统基本配置伪分布式安装分布式安装配置 安装环境   Centos版本：6.7   VMware版本：15.5.1   JDK版本：jdk-7u67 系统基本配置   1.主机名修改   切换至root，进入/etc/sysconfig/network文件中修改HOSTNAME=hadoop1，方便之后的操作。 vi /etc/sysconfig/network 修改之后退出重
在centos7上搭建hadoop集群
qq_38799155的博客
07-23 1万+
准备工作 主机名称 系统环境 ip地址 hadoop-master centos7 192.168.150.181 hadoop-slave1 centos7 192.168.150.182 hadoop-slave2 centos7 192.168.150.183 1.下载hadoop 本文用的是hadoop-2.7.3的版本 下载hadoop的链
centos7 hadoop集群搭建详细教程
qq_40085632的博客
05-09 1103
参考文献：https://xiaolei.blog.csdn.net/article/details/52946840 准备工作 软件版本 centos 7 jdk : 1.8.0_211 hadoop : 3.1.2 本次演示的各个主机 mu01(管理节点) cu01 cu02 cu03 (三个工作节点) 修改主机名并记录所有节点ip 所有主机修改各自的主机名 修改/etc/hostname文件 将文件中的名字修改，如mu01 重启reboot hostname查看主机名是否修改 所有主机
Hadoop-2.7.3完全分布式集群搭建（Centos7系统）
孙大圣的博客
06-03 9149
实验环境Centos7 使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode，3个datanode 192.168.159.101 master 192.168.159.102 node1 192.168.159.103 node2 192.168.159.104 node3 1.首先做好准备工作 下载好对应的hadoop和jdk版本 ...
1.centos7下Hadoop2.8.4全分布搭建之HDFS集群搭建
开水烫鱼的博客
10-13 1142
1)搭建前的准备 注意：（以下操作可以先配置一台，然后通过scp命令发送到其他两台虚拟机上 发送到其他机器 scp -r 主机名: 注意:加载环境变量 source /etc/profile 免密登陆 -》ssh-keygen 生成密钥对（回车） -》 ssh-copy-id 自己 ssh-cop...
centOS7搭建hadoop环境（非常详细！非常适合新手！）
yujuan110的博客
11-06 3万+
centOS7下搭建hadoop环境，非常非常详细。
centos7安装配置Hadoop集群
一只修炼成精的猴子的博客
02-21 3万+
1、下载Hadoop以及JAVA 本文用的是hadoop-3.2.0 下载地址： http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 本文用的是JAVA1.81 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/j...
centOS7集群hadoop环境搭建
qq_34646817的博客
07-12 1万+
今天安装了下hadoop，感觉网上的教程还有几点要注意的地方，我把它总结在写一下。 一、准备工作 准备3台centOS 7 虚拟机的安装我这边就不写了，给两个教程链接把： centOS7安装教程：https://www.centos.net.cn/archive/1518 centOS7下载：https://www.centoschina.cn/downloads （Tip：安装完一个虚拟机...
Linux上安装Hadoop集群(CentOS6.7+hadoop-2.8.3)
远方的博客
06-10 2789
1.安装3个虚拟机并实现ssh免密码登录1.1安装3个机器 安装3个机器，机器名称分别叫hserver1、hserver2、hserver3.  说明：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作了。          使用ifconfig命令，查看这3个机器的IP。我的机器名和ip的对应关系是:192.168.119.128   hserver1192.168.119.129...
CentOS下Hadoop集群安装配置详解
标题：“细细品味Hadoop - Hadoop集群（第1期）”聚焦于Hadoop技术的基础入门，特别关注于在CentOS操作系统上的安装和配置。Hadoop是一个开源的大数据处理框架，尤其适用于分布式计算环境，它通过HDFS（Hadoop ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值