Linux系统（Centos7）实现hadoop安装

最新推荐文章于 2024-01-21 22:46:37 发布
最新推荐文章于 2024-01-21 22:46:37 发布
阅读量1.5k 收藏 24
点赞数 4
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67393828/article/details/123773184
版权

Linux系统（Centos7）实现hadoop安装

工具：

Linux系统 ：Centos7
JDK:JDK1.8
Hadoop:Hadoop-3.3.1
虚拟机：VMware Workstation Pro 16
本机系统：Windows10

一、虚拟机设置

1.设置虚拟机的网络连接方式

在这里插入图片描述

在这里插入图片描述

2.设置虚拟机网络配置

说明：修改子网IP设置，可自由设置固定IP；
若设置固定IP为192.168.2.2-255，例如：192.168.2.2，则子网IP为192.168.2.0；
若设置固定IP为192.168.1.2-255，例如：192.168.1.2，则子网IP为192.168.1.0；

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3.配置本机VMent8的本地参数

说明：IPv4中的ip地址可随意设置，但不能和虚拟机的固定ip一样。

在这里插入图片描述

在这里插入图片描述

4.修改Centos7的网络配置文件

cd /etc/sysconfig/network-scripts/
ls   #查看配置文件名字
vim ifcfg-ens33

在这里插入图片描述

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.25.11
PREFIX=24
GATEWAY=192.168.25.2   #网关，这里需和NAT模式具体地址参数中设置的网关IP一致
DNS1=114.114.114.114

我的个人配置
在这里插入图片描述

重启网络服务

service network restart

5.检查配置是否成功

（1）IP显示为设置后的IP则成功
在这里插入图片描述

（2）测试是否能连通外网,若有数据返回则成功

ping -c 4 www.baidu.com

在这里插入图片描述

若显示未找到服务器，但ping外网ip有数据返回一样表示成功

（3）使用cmd测试本机能否ping通虚拟机IP

在这里插入图片描述

6.修改虚拟机主机名

修改主机名
查看主机名：终端输入hostname
修改主机名：终端输入hostname Master

注意：修改主机名不会立刻在终端上显示，重新打开终端就可看到主机名已更换

二、JDK安装

1.前往官网下载JDK安装包：https://www.oracle.com/java/technologies/downloads/#java8

2.解压文件：使用XFTP等文件传输软件进行压缩包的传输，此链接为免费版XFTP下载链接：https://www.netsarang.com/zh/free-for-home-school/

连接时只需要修改选中的参数，其他保持默认即可

在这里插入图片描述

创建java文件夹并将jdk压缩包传入java文件夹中

也可以在终端中使用mkdir命令直接创建

在这里插入图片描述

进入jdk压缩包的目录下输入命令进行解压：

tar -zvxf jdk-8u202-linux-x64.tar.gz

在这里插入图片描述

3.配置系统环境，命令：

vim /etc/profile

在文件中添加：

export JAVA_HOME=/usr/java/jdk1.8.0_202   # 此处为自己的jdk版本
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

在这里插入图片描述

重启环境并验证jdk是否安装成功

source /etc/profile   
java -version

在这里插入图片描述

至此JDK安装完成

三、Hadoop安装与配置

1.Hadoop的安装与JDK安装一样，都是在usr文件夹下创建新的hadoop文件夹，使用XFTP将hadoop压缩包传入文件夹中并且解压

tar -zvxf hadoop-3.3.1.tar.gz

2.配置系统环境，与配置jdk时一样，输入命令：

vim /etc/profile

在文件中添加：

export HADOOP_HOME=/usr/hadoop/hadoop-3.3.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

在这里插入图片描述

重启环境并验证hadoop是否安装成功：

source /etc/profile
hadoop version

在这里插入图片描述

如图显示则表示hadoop安装成功

3.Hadoop完全分布式配置

（1）首先进入hadoop文件夹中创建几个文件夹：

mkdir /usr/hadoop/hadoop-3.3.1/tmp
mkdir /usr/hadoop/hadoop-3.3.1/data
mkdir /usr/hadoop/hadoop-3.3.1/data/namenode
mkdir /usr/hadoop/hadoop-3.3.1/data/datanode
mkdir /usr/hadoop/hadoop-3.3.1/pids
mkdir /usr/hadoop/hadoop-3.3.1/logs

（2）在终端上输入：

cd /usr/hadoop/hadoop-3.3.1/etc/hadoop

进入该文件夹中开始配置Hadoop完全分布式搭建所需的文件：

(注意将以下文件中的主机名和文件名修改为自己设置的主机名和文件名)

配置core-site.xml:

vim core-site.xml


<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/hadoop-3.3.1/tmp</value>
  </property>
</configuration>

在这里插入图片描述

配置mapred-site.xml：

vim mapred-site.xml


<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>
   <property>
        <name>mapred.job.tracker</name>
        <value>Master:9001</value>
   </property>
</configuration>

在这里插入图片描述

配置yarn-site.xml：

vim yarn-site.xml


<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
  </property>
  <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Master</value>
  </property>
  <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
  </property>
  <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
  </property>
</configuration>

在这里插入图片描述

配置yarn-env.sh：

vim yarn-env.sh


YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述

配置hdfs-site.xml：

vim hdfs-site.xml


<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/hadoop/hadoop-3.3.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/hadoop/hadoop-3.3.1/data/datanode</value>
    </property>
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
    </property>
</configuration>

在这里插入图片描述

配置hadoop-env.sh：

vim hadoop-env.sh


export JAVA_HOME=/usr/java/jdk1.8.0_202
export HADOOP_HOME=/usr/hadoop/hadoop-3.3.1
export PATH=$PATH:/usr/hadoop/hadoop-3.3.1/bin
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export HADOOP_PID_DIR=/usr/hadoop/hadoop-3.3.1/pids

在这里插入图片描述

配置workers：

vim workers

打开文件后将文件内的内容替换为你的主机名和IP地址，这里先提前写下另外两台需要克隆的虚拟机名字，之后克隆的两台虚拟机需要按照此时输入的主机名和IP进行修改

在这里插入图片描述

在终端输入：

cd /usr/hadoop/hadoop-3.3.1/sbin/

进入新的目录中

配置start-dfs.sh：

vim start-dfs.sh


HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述

配置stop-dfs.sh：

vim stop-dfs.sh


HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述

四、克隆虚拟机

1.关闭防火墙：

systemctl stop firewalld.service        // 临时关闭防火墙
systemctl disable firewalld.service     // 设置为开机不自启

2.添加虚拟机映射

vi /etc/hosts

在这里插入图片描述

3.克隆两台虚拟机

关闭当前虚拟机，克隆其余两台虚拟机

在这里插入图片描述

在这里插入图片描述

4.修改克隆机设置

设置Slave1和Slave2的主机名和IP地址

使用 hostname 主机名 修改

修改IP的方法和文章开始修改Master主机IP一致

在这里插入图片描述

在这里插入图片描述

5.设置SSH免密登录

在三台虚拟机上输入：

cd ~/.ssh
ssh-keygen -t rsa

一直按回车直到结束

结束后在三台虚拟机终端中输入：

ssh-copy-id Master
ssh-copy-id Slave1
ssh-copy-id Slave2

再在Master上进行授权：

chmod 0600 authorized_keys

将授权文件发送到其他主机：

scp authorized_keys Slave1:/root/.ssh/
scp authorized_keys Slave2:/root/.ssh/

将密钥发送出去

若在任意一台虚拟机中使用：

ssh 主机名

能进入所输入的虚拟机中则表示免密登录成功

登录之后一定要使用exit退出后再尝试登录其他主机或进行其他操作

五、启动集群

1.三台虚拟机先进行格式化处理：

hdfs namenode -format

2.启动集群

在Master中输入：

start-all.sh

以此来启动集群，若要关闭集群则输入：

stop-all.sh

启动完毕之后输入jps查看状态

Master和Slave应该有如下信息：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在Master主机上打开浏览器，输入：

Master:9870
Master:8088

在这里插入图片描述

在这里插入图片描述

若能访问这两个地址则表示Hadoop完全分布式搭建成功

参考文章：https://www.zhangshengrong.com/p/zAaOK6Z3ad/

m0_67393828
关注
  • 4
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CentOs7下安装Hadoop详细步骤
weixin_58941637的博客
12-07 5310
一、安装虚拟机 版本（CentOS7） 二、修改主机名（当前虚拟机的主机名） 1.查看当前的主机名 hostname 2.修改主机名 vi /etc/hostname （1）一定要在vi的命令模式下（在编辑模式下按esc键） :wq #保存退出 :wq! #强制保存退出 :q #退出 :q! #强制退出 （2）编辑模式下：i当前光标所在的位置。 3.启动命令： reboot -h now 补充：第二种修改主机名的方式 Hostnamectl set-hostname <自己编写的主机名&g
Linux中Centos7搭建Hadoop服务步骤
09-15
本篇文章给大家详细讲述了Linux中Centos7搭建Hadoop服务步骤，对此有需要的读者朋友们可以参考下。
中国移动自主研发BC-Linux操作系统 (1).pdf
09-06
中国移动自主研发BC-Linux操作系统 (1).pdf
CentOS7安装Hadoop集群完整步骤
热门推荐
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
centos7安装hadoop
最新发布
qq_57074721的博客
01-21 2316
点击完成，来到信息安装摘要界面，点击软件选择。默认是最小安装，为了方便我们学习，需要点进去选择一些配置。点击编辑虚拟机设置，点击CD\DVD，选择IOS镜像文件，这个镜像文件就是centos7的镜像文件。在安装的过程中，设置root用户的密码，可根据自己的需求添加普通用户。根据自己的电脑配置，选择处理机的数量以及每个核的数量。选择标准分区，添加挂载点/boot 分配1G空间。点击主机名，设置一个方便识别的主机名，点击完成。来到欢迎界面，左边滑倒最底下，选择中文。添加挂载点，分配剩下的空间，点击完成。
centos安装配置hadoop超详细过程.docx
05-19
centos安装配置hadoop超详细过程.docx
hadoop基于Linux7的安装配置图文详解
09-14
在本文中，我们将详细介绍如何在Linux7系统上安装和配置Hadoop。Hadoop是一个分布式计算框架，它允许处理和存储大量数据。以下是一步步的安装和配置步骤： 1. **准备工作**： - 首先，你需要下载Hadoop的源代码包...
CentOS7 Hadoop单机安装教程
01-26
本教程旨在指导用户在CentOS 7系统上安装和配置Hadoop单机环境。该教程假设用户已经具备基本的Linux知识和虚拟机或云服务器的使用经验，并且熟悉Java语言。 前提条件： * 了解Linux基本操作 * 了解虚拟机或云...
Centos7中安装hadoop资源包
01-20
本文将详细介绍如何在CentOS7系统中安装Hadoop资源包，以便搭建一个基础的大数据处理环境。 首先，我们需要理解Hadoop的基本架构。Hadoop由两个主要组件构成：HDFS（Hadoop Distributed File System）和MapReduce。...
第7集-Hadoop环境搭建 - linux（centos7） - 安装配置hive2.1.1.pdf
09-17
第7集：安装配置hive-2.1.1 合计8集： ...2、安装配置jdk1.8 3、安装配置hadoop-2.7.7 4、安装配置mysql-5.5.44 5、安装配置scala-2.11.8 6、安装配置hbase-1.3.6 7、安装配置hive-2.1.1 8、安装配置spark（进行中
Linux运维入门Hadoop实验参照手册一（安装VMware与CentOS）
03-08
Linux运维入门Hadoop实验参照手册一（安装VMware与CentOS）
在centos7 编译安装部署Hadoop教程
07-21
在centos7 下面自己编译，安装部署Hadoop集群环境。包括需要插件等等
centos7_hadoop3.1.2_hdfs配置（完整版）.docx
07-05
本文档旨在详细介绍 CentOS 7 下 Hadoop 3.1.2 HDFS 的配置过程，包括安装 JDK、Hadoop、HDFS 的配置文件修改、HDFS 的单机版配置等。 一、安装 JDK 在 CentOS 7 中安装 JDK 是 Hadoop 运行的必要条件。首先，从 ...
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
m0_73509128的博客
08-13 5649
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的hadoop文件传输到副机上去，这里可以先新建两个虚拟机并且和前面一样配置好相关信息，再在终端中输入：scp -r 源hadoop文件路径 机器用户名：目标路径位置后，即可传输，比较麻烦，
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 8703
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
centos7hadoop安装配置
xwt1130_的博客
02-02 441
通过vim /etc/hosts配置其他计算机的ip以及主机名的映射,可以直接ping设置好的主机名。解压缩,将hadoop和jdk解压到soft目录,如果觉得解压完的文件名太长可以用mv修改。将54行修改为,其中jdk180是你解压出来的目录,上面我将其修改为了jdk180。vi编辑配置文件(可以在vm中的编辑中的虚拟网络编辑器查看DHCP和NAT设置)生成秘钥(注意是大写的P),运行后再次回车,生成秘钥。修改完后重启网络,ping百度,能ping通就行。查看是否刷新成功,能出现即成功。
centos7中进行hadoop搭建全过程
m0_54501766的博客
08-13 1378
1.安装模版虚拟机,(以下地址均为实例,具体情况具体应用)IP地址192.168.10.100,主机名称hadoop100,内存4G,硬盘50G2.配置要求1)确认虚拟机联网,ping www.baidu.com试试,ping的同即可2)安装epel-release。
Linux运维入门：Hadoop实验从安装VMware到CentOS
"这篇文档是关于Linux运维入门的Hadoop实验手册的第一部分，主要涵盖了如何安装VMware Workstation以及在其中设置CentOS6.8操作系统，为后续的Hadoop安装做准备。" 在这个实验手册中，我们将首先了解如何安装VMware...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值