Hadoop集群搭建教程

最新推荐文章于 2024-05-09 15:58:17 发布
最新推荐文章于 2024-05-09 15:58:17 发布
阅读量552 收藏 13
点赞数 5
文章标签： hadoop 大数据 markdown
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deku_____/article/details/117048494
版权

Hadoop集群搭建教程

一、装前准备

  1. VMware Workstation（我这里下载的是VM15pro)
    https://www.vmware.com/cn.html.
  2. XSHELL下载
    Xshell用于和虚拟机远程链接，可以传输文件。并且在后续输入代码时可以复制粘贴。
  3. Centos镜像文件
    链接：https://pan.baidu.com/s/1kVBAdfWTMDs1zYuBlDqP4Q
    提取码：r6sq
  4. JDK和hadoop
    链接：https://pan.baidu.com/s/1Q8wRWR2KDzAoWCrLbSrtow
    提取码：z66f

二、在虚拟机中安装CentOS 7

  1. VMare Workstation15pro 点击创建虚拟机
    在这里插入图片描述

  2. 进入到“欢迎使用新建虚拟机向导”，选择自定义（高级），然后下一步
    在这里插入图片描述

  3. 一直next，直到如下图时。iso使用的就是装前准备中的CentOS
    在这里插入图片描述

  4. 然后命名虚拟机的名称以及存放虚拟机的位置。
    在这里插入图片描述

  5. 处理器配置界面，默认就好，点击“下一步”

  6. 虚拟机内存界面，默认即可，点击“下一步”，以后可以根据自己需求继续增加

  7. 网络类型界面，选择“使用网络地址转换(NAT)

  8. 选择I/O控制器类型界面、选择磁盘类型界面，默认就可以了，点击下一步

  9. 选择磁盘界面，选择“创建新虚拟磁盘”，然后下一步

  10. 指定磁盘容量选默认就好了。
    在这里插入图片描述

  11. 指定磁盘文件界面，默认的就好，点击“下一步”

  12. 完成创建，启动
    在这里插入图片描述

  13. 选中第一个回车，等待加载。
    在这里插入图片描述

  14. 选择语言
    在这里插入图片描述

  15. 选择安装位置
    在这里插入图片描述

  16. 安装目标位置
    在这里插入图片描述

  17. 网络和主机名进行配置在这里插入图片描述

  18. 进行配置网络和主机名（记住框起来的，后面要用到）
    在这里插入图片描述

  19. 修改主机名，后面好操作
    在这里插入图片描述

  20. 点击配置，然后点击IPv4设置，方法改为手动，点击add
    在这里插入图片描述

  21. 然后设置IPv4，将方法改为手动，目的是固定IP地址，方便之后的连接以及Hadoop集群的通信，点击Add添加地址就是刚刚截图的内容，如下图输入，网关就是路由IP地址。这里我刚开始用的腾讯的DNS，后面改用用阿里的DNS223.5.5.5,223.6.6.6，然后勾选IPv4点击保存。注意：这里要使用你们自己的IP地址，就是在配置网络时的IP要记住。
    在这里插入图片描述
    在这里插入图片描述

  22. 开始安装
    在这里插入图片描述

  23. 点击配置ROOT密码，这里我们方便记，密码直接设为123456，然后点击两次完成即可。
    在这里插入图片描述
    在这里插入图片描述

  24. 安装完成后点击重启，在master login那一行输入root用户名。回车，输入刚刚设置的密码，这里密码是不显示的，不要误以为出bug了
    在这里插入图片描述
    出现下面图片情况，表示安装成功。
    在这里插入图片描述
    这里输入ping www.baidu.com测试虚拟机是否联网成功。（按ctrl+c结束命令），到这CentOS7安装成功。

三、配置CentOS7

更细一下yum源，运行命令yum -y update。当看到Complete！ 表示更细完成。
在这里插入图片描述
将系统的防火墙关闭。依次输入下面两个命令。
1.临时关闭防火墙 systemctl stop firewalld.service
2.永久关闭防火墙 systemctl disable firewalld.service
在这里插入图片描述
接着关闭Linux系统内核SELinux。输入vi /etc/selinux/config

linux中vi是编辑文本的命令，按下键盘上的字母 i ,进入编辑模式，按下后底下会提示为INSERT状态。
退出则是按下键盘的ESC键后输入:q就可以退出，:q!为强制退出。
保存并退出则是按下键盘的ESC键后输入:wq就可以保存并退出。

找到SELINUX=enforcing这一行，将enforcing修改为disabled。
在这里插入图片描述
然后输入reboot命令回车重启系统，使命令生效。重启之后输入 /usr/sbin/sestatus -v 查看SELinux是否被禁用
在这里插入图片描述
输入yum install vim -y 安装vim编辑器，作用vi命令一样，对后面修改Hadoop配置有帮助。

输入：vim /etc/hosts 编辑hosts文件，后面配置虚拟机将IP先添加到hosts当中。
在这里插入图片描述
master地址是刚刚安装虚拟机的ip地址，图片中的a1、a2是之后的虚拟机的名称，他们的地址是master的地址加一。

创建Hadooptools文件夹，后面文件放在此文件夹。再根目录进行创建。依次输入下面命令：
cd /root
mkdir Hadooptools
cd Hadooptools

打开xshell工具，连接到服务器
输入服务器的ip、账号、密码
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
完成以上步骤就可以连接到虚拟机master了，虚拟机要开机。成功如图
在这里插入图片描述
yum安装lrzsz工具：其命令为：yum -y install lrzsz
在这里插入图片描述

查看是否安装成功，其命令为：rpm -qa|grep lrzsz
在这里插入图片描述
出现以上，则安装成功。

cd Hadooptools进入到我们新建的文件夹输入rz
在这里插入图片描述
将要添加的文件选择就好了
输入ls，有红色的包就成功了。
在这里插入图片描述
输入下面命令分别解压2个压缩包：

tar -zxvf hadoop-2.7.3.tar.gz

tar -zxvf jdk-8u161-linux-x64.tar.gz

版本号要对应

四、JDK安装和配置

输入以下命令
cd ~
ls -all
然后输入：vim .bash_profile
将下面内容添加到文件中：

export JAVA_HOME=/root/Hadooptools/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH

在这里插入图片描述

保存退出后输入下面命令使其生效：source .bash_profile

然后输入java -version 查看是否成功，如下图表示配置成功。到此CentOS，配置完成，输入shutdown now关闭虚拟机。
在这里插入图片描述

五、克隆虚拟机，配置主机，搭建集群。

右键虚拟机，点击管理，然后点击克隆。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
点击完成则完成克隆。
克隆创建2次，将这个两个虚拟机分别命名为a1，a2.如下图
在这里插入图片描述
然后依次启动3台虚拟机，然后修改IP。进入a1虚拟机，输入下面命令，配置网络文件：

vim /etc/sysconfig/network-scripts/ifcfg-ens33 将其IPADDR改为192.168.137.136，保存退出后，输入service network restart 使配置生效
在这里插入图片描述
同样的命令配置a2，其地址为192.168.137.137.然后保存退出，同样命令使其生效。

接下来修改主机名，输入下面命令：

A1：hostnamectl set-hostname a1

A2：hostnamectl set-hostname a2
完成后分别输入logout用户登出。
在次登陆就可以看到我们的主机名变为a1.
在这里插入图片描述
然后在master主机分别输入以下命令看是否能ping通。

ping master
ping a1
ping a2

下图表明master和a1，a2连接正常。依次在a1和a2做验证看是否成功。
在这里插入图片描述

六、用Xshell连接三台虚拟机

首先添加三台虚拟机，上面传输文件的时候讲过了。
连接上三台虚拟机。
在这里插入图片描述
在xshell中制作免密码登陆，在master中输入以下命令：ssh-keygen -t rsa然后一直按回车直到命令结束。同样的操作子在，a1，a2中进行。
在这里插入图片描述
在master依次输入下面命令：

ssh-copy-id master
ssh-copy-id a1
ssh-copy-id a2

然后根据提示输入master，a1，a2的密码，这里就是实现了对登陆的免密操作。
在a1中输入下面命令：

ssh-copy-id master
ssh-copy-id a2

在a2中依次输入以下命令：

ssh-copy-id master
ssh-copy-id a1

通过ssh命令测试看是否设置免密登陆成功，如下图操作：
在这里插入图片描述
对a1、a2进行同样的操作

七、配置Hadoop

修改hadoop-env.sh

输入下面命令：cd /root/Hadooptools/hadoop-2.7.3/etc/hadoop/ 进入到
hadoop-2.7.3文件夹。
输入下面命令修改hadoop-env.sh。
vim hadoop-env.sh
将export JAVA_HOME修改为下面的值，然后保存并退出。

# The java implementation to use.
export JAVA_HOME=/root/Hadooptools/jdk1.8.0_161

在这里插入图片描述
修改yarn-env.sh

输入：vim yarn-env.sh

修改JAVA_HOME，然后保存退出。

# some Java parameters
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
if [ "$JAVA_HOME" != "" ]; then
  #echo "run java in $JAVA_HOME"
  JAVA_HOME=/root/Hadooptools/jdk1.8.0_161

在这里插入图片描述
修改core-site.xml

输入：vim core-site.xml，修改 core-site.xml
将下面内容复制粘贴到文件中，然后保存退出。

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
                <description>配置NameNode的URL</description>
        </property>
        <!--用来指定hadoop运行时产生的存放目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/root/Hadooptools/hadoop-tmp</value>
        </property>
</configuration>

在这里插入图片描述
目前系统中是没有这个目录的，后面需要新建这个目录

修改hdfs-site.xml

输入：vim hdfs-site.xml，修改 hdfs-site.xml
将下面内容粘贴到文件中，再保存退出。

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

在这里插入图片描述
修改mapred-site.xml

输入：vim mapred-site.xml，修改 mapred-site.xml
将下面内容粘贴到文件中，保存退出。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at
    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <!-- 指定mr框架为yarn方式 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

在这里插入图片描述
修改yarn-site.xml

输入：vim yarn-site.xml，修改 yarn-site.xml
将下面内容粘贴到文件中：

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <!--指定yarn的老大resoucemanager的地址-->
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<!--NodeManager 获取数据的方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

在这里插入图片描述
修改slaves

输入：vim slaves，修改 slaves
粘贴以下内容到文件：

master
a1
a2

在这里插入图片描述
建立hadoop-tmp文件夹

进入到Hadooptools文件夹下，新建文件夹（依次输入）：
cd /root/Hadooptools/

mkdir hadoop-tmp

删除a1，a2上的Hadooptools文件夹
依次再a1，a2，上执行，输入下面命令：

rm -rf /root/Hadooptools/

将 master 上的 Hadooptools文件夹复制到a1，a2上，输入下面命令：

scp -r /root/Hadooptools root@a1:/root/
scp -r /root/Hadooptools root@a2:/root/

配置系统环境变量

输入下面命令：vim /root/.bash_profile
将下面内容添加到文件中：

export HADOOP_HOME=/root/Hadooptools/hadoop-2.7.7
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:

然后执行source /root/.bash_profile，使其生效。

a1，a2虚拟机配置同上。

格式化hadoop文件系统

输入：hdfs namenode -format
在这里插入图片描述
当看到successful信息时，表明格式化成功。

八、启动Hadoop

输入：start-all.sh
根据提示，输入yes。用主浏览器访问 http://192.168.154.128:50070 查看启动是否成功
在这里插入图片描述
再上图可以看到有3台节点同时在线，如果不是3台证明有问题，需要查看哪里出错了。如果是3台表示配置成功。

登陆yarn的WebUI http://192.168.154.128:8088/
在这里插入图片描述
安装spark

登陆Apache spark官网下载spark

地址：http://spark.apache.org/downloads.html
选择如下图：
在这里插入图片描述
将下载下了的压缩包使用Xshell传到master主机：
在Xshell中解压刚刚上传的压缩包（依次输入下面命令）：
cd /root/Hadooptools

tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz

将spark-3.1.1-bin-hadoop2.7文件夹名字修改成spark
输入：mv spark-3.1.1-bin-hadoop2.7 spark

修改环境变量，添加spark
输入：vim /root/.bash_profile
添加下面内容：

export SPARK_HOME=/root/Hadooptools/spark
export PATH=${SPARK_HOME}/bin:$PATH

在这里插入图片描述
输入：source /root/.bash_profile，使其生效。

编辑spark-env.sh

输入：cd /root/Hadooptools/spark/conf/

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

将下面内容添加到文件中：

export JAVA_HOME=/root/Hadooptools/jdk1.8.0_171
export SPARK_MASTER_IP=192.168.154.128
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/root/Hadooptools/hadoop-2.7.7/etc/hadoop

添加s1，s2节点信息
vim /root/Hadooptools/spark/conf/slaves

在文件中添加，保存退出：

a1
a2

将spark文件夹复制到a1，a2
运行下面命令：
cd /root/Hadooptools

scp -r spark root@a1:/root/Hadooptools/

scp -r spark root@a2:/root/Hadooptools/
进入spark文件夹，启动spark
运行以下命令：
cd /root/Hadooptools/spark/sbin/

./start-all.sh
在主机的浏览器中访问地址：http://192.168.154.128:8080 ，查看是否能成功访问
在这里插入图片描述
测试spark运行是否正常
运行以下命令：
cd /root

./Hadooptools/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 /root/Hadooptools/spark/examples//jars/spark-examples_2.12-3.1.1.jar 100
然后打开spark的WebUI查看运行情况
http://192.168.154.128:8080/
在这里插入图片描述
当你以上操作都成功了，说明你已经成功的搭建了Hadoop了，恭喜你。
感谢你的阅读！

Ocean71
关注
  • 5
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
搭建hadoop集群
qq_44715376的博客
05-24 3365
搭建hadoop集群
Hadoop启程
还有头发的沛沛的博客
11-04 150
Hadoop配置 软件下载和解压 阿里云服务器，用WinSCP上传了hadoop-2.7.4.tar.gz和jdk-8u271-linux-x64.tar.gz两个压缩包(链接打不开的兄弟去官网搜一下吧0.0)。选择自己的目标目录进行解压。 解压jdk之后记录自己的路径位置，使用pwd命令获取当前路径，方便后面再配置文件中进行修改。 打开/etc/profile 在结尾处进行如下配置，可以顺便把Hadoop的配置信息一起写了 配置完成后，利用source /etc/profile命令让配置信息生效。执
hadoop集群搭建全过程笔记
qq_51653817的博客
03-17 613
hadoop集群配置
Hadoop集群搭建详细步骤(只有JDK和Hadoop)
Helen_1997_1997的博客
02-12 2763
Hadoop集群搭建详细步骤，跟着尚硅谷做的，直接用root用户也可以
2024年大数据最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建，快速从入门到精通
最新发布
2401_84183033的博客
05-09 1307
修改完成之后记得使用命令source /etc/profile，使修改生效。
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
Hadoop集群的搭建，巨详细的过程,一步步来必成
weixin_68251022的博客
06-02 6365
查看/etc/sysconfig/network-scripts/ifcfg-ens33配置文件的内容。不同于Windows系统采用菜单方式修改网络配置，Linux系统的网络配置参数是写在配置文件里的，ifcfg-ens33是CentOS 7.8版本的Linux系统中的网络配置文件，可以设置IP地址、子网掩码等网络配置信息。
Hadoop集群搭建
leanaoo的博客
10-17 1010
上次说了Hadoop集群单机版的搭建,这次来依照单机版的基础搭建一个简单的集群版 规划 这次搭建的是一个主机和两个从机,也就是只有两个node节点,也可以让主机上有node节点,之后会说 主机名 cluster规划 master namenode,secondarynamenode,ResourceManager slave1 Datanode, NodeManager s...
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
Hadoop集群搭建教程1
08-04
1. 检查ntp包是否安装 2. 设置时间配置文件 3. 设置BIOS与系统时间同步 4. 启动ntp服务并测试 1. 手动同步 2. 定时同步 1. 检查nt
Hadoop集群搭建教程（ubuntu） (1).docx
06-17
详细的Hadoop集群搭建过程，有6部分，前提是能连接网络，前三部都是很简单免密要仔细看，推荐JAVA版本1.8，Hadoop版本2.2.7 这两个版本都是稳定的
hadoop集群搭建教程.zip
12-23
某kaikeba的大数据教程，分享给你们（只要两积分），我也是按照这个安装成功的。 某kaikeba的大数据教程，分享给你们（只要两积分），我也是按照这个安装成功的。 某kaikeba的大数据教程，分享给你们（只要两积分...
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4522
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
Hadoop 3.2.4 集群搭建详细图文教程
Stars.Sky 的博客
09-01 3641
Hadoop 3.2.4 集群搭建详细图文教程
搭建Hadoop集群（详细步骤）
hk3245393838的博客
11-16 1383
3、在windows的命令提示符下输入ipconfig查看是否有192.168.200.1的以太网适配器 VMware Network Adapter VMnet8（网络自己也可以手动设置）网段改为:192.168.200.0。网关为:192.168.200.2。2、修改虚拟机的虚拟网络编辑器，1、使用nmtui图形化工具配置。
Hadoop简介以及集群搭建详细过程
weixin_49750432的博客
07-22 1382
hadoop加群包括两个集群：hdfs集群，yarn集群两个集群逻辑上分离，通常物理上在一起两个集群都是标准的主从架构集群逻辑上分离：两个集群相互之间没有依赖，互不影响物理上在一起：某些角色今晚往往部署在同一台物理服务器上MapReduce集群呢？MapReduce是计算框架、代码层面的组件没有集群之说。
8. Hadoop集群搭建 - 解压tar.gz包 - 基于CentOS7 -【连载中】
Hadoop集群搭建详细教程
08-09 3002
续上一篇文章：7. Hadoop集群搭建 - 上传应用/软件 - 基于CentOS7 -【连载中】 目录扩展解压文件解压jdk到指定文件夹解压Hadoop到指定文件夹进入到解压后的目录查看是否解压成功 扩展 说明： 以下表格中红色标*的为必须项 解压 功能 / 效果 -c 建立压缩档案 -x 解压 -t 查看内容 -r 向压缩归档文件末尾追加文件 -u 更新原压缩包中的文件 说明： 这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。
搭建Hadoop分布式集群的详细教程
程序员小木的博客
03-26 2万+
本文包括VMware创建配置虚拟机的基本方法，Centos的安装与配置，Hadoop集群安装与配置方法

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值