学习Hadoop（一）——搭建hadoop集群

最新推荐文章于 2024-08-27 17:34:47 发布
最新推荐文章于 2024-08-27 17:34:47 发布
阅读量542 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jc_hook/article/details/128037989
版权

最近开始学习大数据的相关知识，要学习大数据就不得不提到Hadoop。
一般来说学习一门新的知识，很多都是先理论再实践
在这里插入图片描述
我则不然，先实践，再了解理论
在这里插入图片描述

目录

一、VM网络设置

打开控制面板
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如下配置
在这里插入图片描述
设置虚拟机虚拟网络编辑器
在这里插入图片描述
在这里插入图片描述

二、安装Centos7

基于centos环境进行搭建，所以需要安装centos7的虚拟机。

分别搭建三台虚拟机：master、slave0、slave1
后面两台都是基于第一台进行克隆。
硬件配置为：

设备值
硬盘20GB
内存2GB
处理器2

具体操作参考安装Centos7

2.1 网络配置

先对master服务器进行配置静态ip。
另外两台等后面克隆后进行设置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO设置为static

BOOTPROTO="static"

添加ip信息

IPADDR="192.168.216.128"
NETMASK="255.255.255.0"
GATEWAY="192.168.216.2"
DNS1="8.8.8.8"
DNS2="8.8.8.4"

在这里插入图片描述
重启网路

service network restart

在这里插入图片描述
这个说明重启成功
当前服务器的ip为：192.168.216.128
后续两台克隆出来的服务器依照上面的步骤设置ip:

slave0：192.168.216.129
slave1：192.168.216.130

2.2 设置主机名

先对master服务器进行配置主机名。
另外两台等后面克隆后进行设置

vi /etc/sysconfig/network

修改为：

# Created by anaconda
NETWORKING=yes
HOSTNAME=master

修改主机名

vi /etc/hostname

填写名称(对应服务器修改各自名称)

master

在这里插入图片描述
重新启动该主机，就会发现主机名被修改了。
两台克隆的服务器后续也重复上面的操作进行修改。

2.3 hosts设置

修改/etc/hosts文件，配置主机和ip的映射
在原有的内容下面添加以下内容：

192.168.216.128   master
192.168.216.129   slave0
192.168.216.130   slave1

服务器都一样的内容，只需要修改master，两台克隆的服务器通过克隆即可。

2.4 安装JDK

先卸载自带的openjdk

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

下载jdk，我这里装的是jdk1.8。
进入官网:https://www.oracle.com/java/technologies/downloads
在这里插入图片描述
将下载后的文件放到/usr/local/java

cd /usr/local/java
tar zxvf 下载包的包名
mv 解压后的包名 jdk1.8

配置环境变量
在/etc/profile文件中末尾加上

export JAVA_HOME=/usr/local/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/lib

刷新环境变量

source /etc/profile

查看java版本

java -version

显示java版本，安装成功
在这里插入图片描述

2.5 关闭防火墙

查看防火墙状态

systemctl status firewalld.service

如下标识防火墙处于开启状态
在这里插入图片描述
关闭防火墙

systemctl stop firewalld.service

防止服务器重启时防火墙启动

systemctl disable firewalld.service

2.6 同步时间

编辑虚拟机设置
在这里插入图片描述
选项，VMware Tools勾选“将客户机时间与主机同步”
在这里插入图片描述

2.7 克隆服务器

从上面配置出来的服务器进行克隆。

注意：克隆前需要关闭被克隆的服务器

鼠标右键点击服务器
管理→克隆
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
设置克隆机的服务器名称和存放位置
在这里插入图片描述
点击完成，克隆完毕。
依此克隆出slave0和slave1

对克隆服务器进行配置，依照上面步骤：

2.1 网络配置
2.2 设置主机名

2.8 免密钥登陆

在master服务器输入下面命令

ssh-keygen -t rsa

进入ssh文件夹

cd ~/.ssh

把公钥文件发送到自己和其它服务器。
以发给自己为例

ssh-copy-id -i id_rsa.pub root@master

输入yes，然后输入目标服务器的root密码
成功后,输入以下命令

ssh root@master

依此，也设置master免密登录slave0、slave1

三、安装hadoop

3.1 下载hadoop

通过http://archive.apache.org/dist/hadoop/common/
下载自己需要的hadoop版本。
我用的是3.1.3版本
在这里插入图片描述
将文件下载并放在master服务器的目录下（自己指定，我存在的是/usr/local）

3.2 解压

进入对应文件夹

cd /usr/local

解压文件

tar -zxvf hadoop-3.1.3.tar.gz

重命名文件

mv hadoop-3.1.3 hadoop

3.3 环境变量配置

配置环境变量
在/etc/profile文件中末尾加上

export HADOOP_HOME=/usr/local/hadoop/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

刷新环境变量

source /etc/profile

3.4 检查

检查版本

hadoop version

在这里插入图片描述

四、部署hadoop

4.1 集群部署规划

masterslave0slave1
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager		NodeManager

注意：NameNode、SecondaryNameNode、ResourceManager这三个要分开不要配置在同一台虚拟机上

4.2 环境配置

配置文件位于hadoop安装目录下的/etc/hadoop目录
主要需要修改的文件为以下四个：

hadoop-env.sh
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
workers

4.2.1 hadoop-env.sh

hadoop运行中所需要的环境变量，例如JAVA_HOME

export JAVA_HOME=/usr/local/java/jdk1.8

4.2.1 core-site.xml

  • 配置hdfs对应的主机和端口
  • 对那个hadopp数据的存放目录

创建存放hadoop数据目录

mkdir /opt/hadoopdata

在<configuration></configuration>标签内填充以下内容

	<property>
	     <name>fs.defaultFS</name>
	     <value>hdfs://master:9000</value>
	     <!-- 以上ip地址或主机名要按实际情况修改 -->
	</property>
	<property>
	    <name>hadoop.tmp.dir</name>
	    <value>/opt/hadoopdata</value>
	</property>

4.2.2 hdfs-site.xml

配置namenode和SecondaryNameNode

在<configuration></configuration>标签内填充以下内容

	<property>
	    <name>dfs.namenode.http-address</name>
	    <value>master:9870</value>
	</property>
	<property>
	    <name>dfs.namenode.secondary.http-address</name>
	    <value>slave1:9868</value>
	</property>

4.2.3 yarn-site.xml

在<configuration></configuration>标签内填充以下内容

	<!-- 指定MR走shuffle -->
	<property>
	    <name>yarn.nodemanager.aux-services</name>
	    <value>mapreduce_shuffle</value>
	</property>
	
	<!-- 指定ResourceManager的地址-->
	<property>
	    <name>yarn.resourcemanager.hostname</name>
	    <value>slave0</value>
	</property>
	
	<!-- 环境变量的继承 -->
	<property>
	    <name>yarn.nodemanager.env-whitelist</name>
	    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
	
	<!-- 如果要程序的运行日志信息上传到HDFS系统上，可配置日志聚集（选择配置） -->
	
	<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  
		<name>yarn.log.server.url</name>  
		<value>http://master:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>

4.2.4 mapred-site.xml

在<configuration></configuration>标签内填充以下内容

    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
 
	<!-- 如果要看程序的历史运行情况，可以配置历史服务器（选择配置） -->
	 
	<!-- 历史服务器端地址 -->
	<property>
	    <name>mapreduce.jobhistory.address</name>
	    <value>master:10020</value>
	</property>
	 
	<!-- 历史服务器web端地址 -->
	<property>
	    <name>mapreduce.jobhistory.webapp.address</name>
	    <value>master:19888</value>
	</property>

在配置了

4.2.5 workers

删除原内容，填写集群服务器主机名称

master
slave0
slave1

注意：添加该文件时，内容上下不允许有空行，前后不允许有空格

4.3 复制hadoop

将master的hadoop远程发送给slave0和slave1两台服务器

scp -r /usr/local/hadoop root@slave0:/usr/local
scp -r /usr/local/hadoop root@slave1:/usr/local

给两台服务器的环境变量加上hadoop
参考 3.3 环境变量配置

五、启动集群

5.1 格式化NameNode

第一次启动需要在master节点先格式化NameNode

hdfs namenode -format

在这里插入图片描述

5.2 启动HDFS

在NameNode节点（master）上添加环境变量

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

启动

/usr/local/hadoop/sbin/start-dfs.sh

在这里插入图片描述

5.3 启动YARN

在ResourceManager节点（slave0）上添加环境变量

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

启动

/usr/local/hadoop//sbin/start-yarn.sh

在这里插入图片描述

5.4 启动历史服务器

只有配置了才进行启动。
（mapred-site.xml中配置）

mapred --daemon start historyserver

5.5 查看集群状态

在各个节点上输入以下命令查看

jps

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、Web端查看

浏览器通过端口可以查看对应启动的服务

6.1 HDFS

访问
http://master:9870
在这里插入图片描述
这里显示在这个位置可以执行一系列操作

6.2 YARN

访问
http://slave0:8088
在这里插入图片描述
这里会显示集群的执行任务

6.3 历史服务器

访问
http://master:19888/jobhistory
在这里插入图片描述
可在该页面查看历史日志

jc_hook
关注
专栏目录
Hadoop搭建————搭建前的准备
weixin_45942827的博客
06-22 1086
虚拟机IP的设置 JDK的安装 Hadoop的安装 常用快捷键
搭建Hadoop集群——易出现问题及解决办法
weixin_46328436的博客
09-28 2336
一.学习目标 了解虚拟机的安装与克隆 熟悉Linux系统的网络配置和SSH的配置 掌握Hadoop集群的搭建和配置 掌握Hadoop集群的测试 熟悉Hadoop集群的初体验的操作 二.搭建 1.创建虚拟机 1.1 下载安装VMware Workstation 下载安装VMware Workstation （为了解决版本不兼容的问题，建议安装版本高一点） 1.2创建虚拟机并虚拟机启动初始化并克隆 1.3Linux 系统网络配置 进入编辑 点击虚拟网络编辑器 选择NAT模式，点击下方 更改设置 此
最详细的Hadoop环境搭建
09-30
最详细的Hadoop环境搭建
hadoop搭建
weixin_50691399的博客
11-21 1992
本文主要是hadoop搭建相关知识
从零手把手教你搭建Hadoop集群
最新发布
zwl2220943286的博客
08-27 1117
从零手把手教你搭建Hadoop集群
Hadoop搭建
weixin_51524477的博客
04-19 176
如何搭建hadoop
hadoop平台搭建
qq_47468106的博客
07-08 409
Hadoop是一个分布式系统基础框架，它的 HDFS 、 MapReduce 、 HBase 分别是Google的GFS、MapReduce、BigTable这三个思想的实现。特点：高可靠。按位存储和处理数据的能力强，可靠性强。 高可用。它是在计算机集群间分配数据并完成计算任务的，这些集群可以扩展数以千计的节点。 高效性。能在节点间动态地移动数据，并保证各个节点的动态平衡，所以处理速度非常快。 高容错性。能够自动保存数据的多个副本。Hadoop部署方式分三种：1、Standalone mode（独立模式）
Hadoop学习——Hadoop集群搭建笔记
记录点滴成长......
11-10 433
生而有涯而学无涯最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。集群配置详情 hostname ip address os(Centos7mini) master 192.168.224.100 Centos7(mini) slave1
hadoop集群搭建——JDK的安装
01-21
### hadoop集群搭建——JDK的安装 #### 实验背景及目标 在部署Hadoop集群的过程中，第一步往往是安装Java Development Kit (JDK)，因为Hadoop是基于Java开发的，因此在集群上的每个节点都需要安装JDK。本实验旨在...
java 连接hadoop集群_hadoop集群访问——Hadoop客户端访问、Java API访问
weixin_35724881的博客
02-13 1481
上一篇中介绍了hadoop集群搭建方式，本文介绍集群的访问。集群的访问方式有两种：hadoop客户端访问，Java API访问。一、集群客户端访问Hadoop采用C/S架构，可以通过客户端对集群进行操作，其实在前面搭建的集群环境中，每个集群节点都可以作为一个客户端进行集群访问，但是一般场景下，会将集群服务器作为整体，从外部设置客户端对集群进行访问。为了能从集群服务器外部访问，需要一台与集群服务器在...
hadoop的搭建教程
qq_58105740的博客
09-08 1277
hadoop搭建教程（完全分布式）
hadoop搭建教程
Li_and_Li的博客
04-15 457
    最近准备学习一些大数据的入门知识，当然是从搭建环境开始了，下面我把我搭建hadoop的步骤以及遇到的一些问题写在下边。    搭建前的准备：    centos7环境    jdk环境    ssh免密登录    用户组    准备好以上几步之后就可以搭建hadoop了。    安装centos的步骤就不在这里赘述了。    jdk环境如果centos操作系统自带的话那么找到JAVA_HO...
Hadoop环境搭建
美国梦中国心
06-29 6940
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Hadoop集群搭建
qq1270821038的博客
04-10 2598
hadoop集群搭建
hadoop搭建以及配置
大爵爷
03-05 327
hadoop的安装分为三种模式： 1. 本地模式 2. 伪分布式模式 3. 完全分布式模式 本地模式： 本地模式安装 一 官网下载hadoop安装包 ,选择二进制的。 下载 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz 解压 解压到当前目录 tar -zxvf hado...
Hadoop环境搭建（全网最详细，保姆级教程）
热门推荐
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
大数据之Hadoop平台的搭建
qq_74137843的博客
07-09 1696
三台虚拟机。
hadoop集群的搭建和启动
云计算大数据学习之小学生的博客
03-22 1223
Hadoop的集群搭建一:JDK装好二:配置了免密登陆和主机名映射三:同步时间和关闭防火墙四:然后开始搭建hadoop集群 NAT 方式联网 配置 h ssh  免密登陆#生成 ssh 免登陆密钥ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成 id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免密登陆的目标机器上ssh-copy-id node-02 配置 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值