实验一 Hadoop 集群的安装

最新推荐文章于 2023-03-17 12:48:16 发布
最新推荐文章于 2023-03-17 12:48:16 发布
阅读量481 收藏 1
点赞数
分类专栏： HBASE 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43482612/article/details/109548859
版权

实验目的
1、熟练 Linux 的基本操作
2、理解 Hadoop 中有 master,slave,namenode,datanode 等的概念
3、掌握 Hadoop 的配置方法
4、掌握 Hadoop 的测试方法
实验环境
1、64 位电脑，8G 以上内存
2、win10 系统 课时： 6 课时
实验步骤：
1、节点分工

机器名称IP地址软件进程
hadoop1（主机master）192.168.202.129JDKdatanode、namenode
hadoop2（克隆机slaves）192.168.202.130JDKdatanode
hadoop3（克隆机slaves）192.168.202.131JDKdatanode

2、 软件准备。
（1）虚拟机 VMWare,版本是 VMware® Workstation 15 Pro 以上，太低了不支持在 win10 上运行。
（2）Linux 系统 CentOS7
（3）Jdk，参考：jdk-8u251-linux-x64.tar.gz
（4）Hadoop,参考：hadoop-2.7.1.tar.gz 与hbase-1.1.5-bin.tar.gz 兼容
（5）finalshell
3、新建虚拟机
虚拟机硬件设置按NAT方式，设备状态为启动时连接，用于共享主机的IP地址，如下图所示。
在这里插入图片描述

4、安装 CentOS 按默认方式，不安装图形界面。
5、进行网络设置
设置静态 IP，与主机的网络在一个网段，如果主机为 192.168.202.19，虚拟机的 IP 地址可以设置 为:192.168.202.129
（1）输入 ip add 查看本机网卡名称。
（2）进入/etc/sysconfig/network-scripts/目录，编辑 ifcfg-ens33，如下图所示。将 BOOTPROTO 改为静态。将 ONBOOT 改变为 yes。增加 IPADDR 等的设置，保存退出。（注：有些可能是ens32，则需要编辑ifcfg-ens32,本人的虚拟机就需要编辑ifcfg-ens32）

vim /etc/sysconfig/network-scripts/ifcfg-ens32

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens32
UUID=7a312588-d504-4e2c-a6ab-7f7e5bab45a3
DEVICE=ens32
ONBOOT=yes
IPADDR=192.168.202.129
GATEWAY=192.168.202.2
NETMASK=255.255.255.0
DNS1=192.168.202.2

（3）重启网卡服务：service network restart ,用 ip add 命令检查设置是否生效。
（4）在 win10 中用 ping 命令检查与虚拟机是否连通。（Ctrl+c终止ping命令）
在这里插入图片描述
6、 在 win10 中安装 finalshell
7、安装 jdk.
（1）首先检查 centOS 中是否有 jdk。命令：java -version
（2）通过finalshell上传 jdk 到home/lib目录，执行以下命令进行解压。

tar -zxvf jdk-8u251-linux-x64.tar.gz

（3）删除压缩包，节省空间:

rm jdk-8u251-linux-x64.tar.gz

（4）编辑/etc/profile （在配置文件头部加入jdk的配置环境变量）

export JAVA_HOME=/home/lib/jdk1.8.0_251
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
export PATH= P A T H : PATH: PATH:JAVA_HOME/jre/bin

（4）使配置生效，输入命令

source /etc/profile

（5）输入命令，java -version，完成。
在这里插入图片描述8、安装 Hadoop2.7.1
（1）通过 finalshell 将 hadoop-2.9.2.tar，放到/home/lib 目录下
（2）解压，输入命令，tar -xzvf hadoop-2.7.1.tar.gz
（3）删除压缩包，节省空间
（4）配置 hadoop
①编辑/etc/profile （在配置文件头部加入hadoop的配置环境变量）

export JAVA_HOME=/home/lib/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/jre/bin
export HADOOP_HOME=/home/lib/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

②配置home/lib/hadoop-2.7.1/etc/hadoop 目录下的 core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.202.129:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/home/hadoop/tmp</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131702</value>
	</property>
</configuration>

③配置/home/lib/hadoop-2.7.1/etc/hadoop 目录下的 hdfs-site.xml

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/home//lib/hadoop-2.7.1/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/home/lib/hadoop-2.7.1/dfs/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>192.168.202.129:9001</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
</configuration>

④ 配置/home/lib/hadoop-2.7.1/etc/hadoop 目录下的 mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>192.168.202.129:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>192.168.202.129:19888</value>
	</property>
</configuration>

⑤ 配置/home/lib/hadoop-2.7.1/etc/hadoop 目录下的 yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>192.168.202.129:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>192.168.202.129:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>192.168.202.129:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>192.168.202.129:8033</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>192.168.202.129:8088</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>567</value>
	</property>
</configuration>

⑥配置/home/lib/hadoop-2.7.1/etc/hadoop 目录下 hadoop-env.sh、yarn-env.sh 的 JAVA_HOME,不设置的话，启动不了

export JAVA_HOME=/home/lib/jdk1.8.0_251

⑦配置/home/lib/hadoop-2.7.1/etc/hadoop 目录下的 slaves，删除默认的 localhost，增加 3 个从节点，这 3 个节点都是 datanode,如果要将删除某个 datanode 节点，如：192.168.202.129，删除对应的记录就可以。

vim slaves

hadoop1
hadoop2
hadoop3

9、集群环境搭建
（1）关闭虚拟机，将虚拟机改为 hadoop1，克隆出 hadoop2、hadoop3，现在我已克隆好虚拟机,如下图。在这里插入图片描述
（2）进入 hadoop1 目录 /etc，通过 vi hostname 修改主机名称改为 hostname 为 hadoop1
在这里插入图片描述
（3）进入 hadoop1 目录/etc，通过 vi hosts 打开 hosts 文件，添加 IP 地址和主机的对应关系，方便以后使用主机名进行访问。
在这里插入图片描述
（4）进入 hadoop2 目录 /etc/sysconfig/network-scripts/ifcfg-eth33 修改从机 IP，一般最后一位自增 1，IP 为192.168.202.130，
（5）进入 hadoop2目录 /etc/hostname，修改从机 hostname 为 hadoop2
（6）进入 hadoop2目录,通过 vim/etc/hosts 打开 hosts 文件，添加 IP 地址和主机的对应关系，方便以后使用主机名进行访问。与 hadoop1下的一样。
（7）进入 hadoop3目录进设置，操作过程与 hadoop2 的设置一样。
（8）将 hadoop1,hadoop2,hadoop3 进行重启，使设置生效。
10.SSH 免密码登录
因为 Hadoop 需要通过 SSH 登录到各个节点进行操作，我用的是 root 用户，每台服务器都生成公钥，再合并到 authorized_keys
（1）CentOS 默认没有启动 ssh 无密登录，去掉/etc/ssh/sshd_config 其中 2 行的注释，每台服务器都要设置，

#RSAAuthentication yes
#PubkeyAuthentication yes

（2）输入命令，ssh-keygen -t rsa，生成 key，都不输入密码，一直回车，/root 就会生成.ssh 文件夹，每台服务器都要设置，合并公钥到 authorized_keys 文件，在 Master 服务器，进入/root/.ssh 目录，通过 SSH 命令合并，（在hadoop1、hadoop2、hadoop3均做相同的操作）

ssh-keygen -t rsa
cd /root/.ssh
cat id_rsa.pub >> authorized_keys
chmod 0600 authorized_keys
cd 0700 .ssh
ssh-copy-id root@主机名
ssh 主机名（即在虚拟机上互相访问其他虚拟机，执行ssh hadoop1或ssh Hadoop或ssh hadoop3，如果不需要输入密码，则ssh免密配置成功）

11.启动 hadoop
在 Master 服务器启动 hadoop，从节点会自动启动，进入/home/lib/hadoop-2.7.1目录
（1）初始化，输入命令

hdfs namenode -format

（2）启动hadoop： start-all.sh（同时启动所有节点），也可以分开启动：start-dfs.sh、sbin/start-yarn.sh，
（3）输入jps命令，可以查看每台虚拟机的启动情况

虚拟机进程
hadoop1NameNode、Jps、DataNode、ResourceManager、SecondaryNameNode、NodeManager
hadoop2DataNode、Jps、NodeManager
hadoop3DataNode、Jps、NodeManager

如果进程少于上图所示，请查看启动该进程对应的日志文件，查找该进程没有启动的原因。NodeManage进程设置的内存大小不可过大，否则可能会导致资源不足而关闭。设置 NodeManage 进程内存资源的参数如下，单位是 Mb

	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>567</value>
	</property>

12.Web 访问
（1）要先关闭防火墙
设置开机禁用防火墙：

systemctl disable firewalld.service

关闭防火墙：

systemctl stop firewalld

关闭selinux：

vim /etc/selinux/config
SELINUX=disabled

检查防火墙状态（若为active，防火墙未关闭；若为inactive，防火墙关闭成功）：

systemctl status firewalld

（2）浏览器打开 http://192.168.202.129:50070/
在这里插入图片描述

（3）浏览器打开 http://192.168.1.50:8088/（如果hadoop版本较高，请输入http://192.168.1.50:9870进行测试）
在这里插入图片描述
本实验相关软件分享：https://pan.baidu.com/s/1vrREumWwNVaP2kipKBPO2A 提取码: 8z4i

向着太阳，向着光
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop小结
sunny2516的博客
07-19 475
1、Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。   2、Hadoop框架中最核心设计就是：HDFS和MapReduce. HDFS：Hadoop Distributed File System,Hadoop的分布式文件系统，提供了海量数据的存储，大文件被分成默认64M一块的数
Hadoop——实验三：Hadoop集群安装部署
maochaofei的博客
06-14 2811
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例 一. 实验目的   掌握Hadoop集群集群安装部署技术。 二. 实验内容   参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluste
Hadoop学习之hadoop集群搭建（M1芯片 MacBookPro）心得
ljs_0的博客
03-22 5676
M1芯片 MacBookPro上搭建 hadoop完全分布式集群
大数据技术原理与应用-林子雨版-第二章课后习题
m0_57467661的博客
03-17 2190
在配置 Hadoop 时，Java 的路径 JAVA_HOME 是在 Hadoop 的环境变量配置文件中进行设置的。默认情况下，Hadoop 会在其安装目录下的 etc/hadoop 目录中包含一个名为 hadoop-env.sh 的文件，该文件定义了 Hadoop 的环境变量配置信息，其中包括 JAVA_HOME 环境变量的设置。Hadoop ZooKeeper：ZooKeeper 是 Hadoop 的分布式协调服务，用于管理和协调 Hadoop 集群中的各个节点，保证系统的稳定性和可靠性。
Hadoop集群搭建的总结
无
05-26 3211
损失
hadoop集群搭建学习总结（一）
qq_39063243的博客
09-20 5175
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算hadoop集群的搭建即为在集群中安装以上的3个组件。
Hadoop实验1：搭建Hadoop集群
qq_60980343的博客
12-21 1836
目录 一、启动Docker容器 1.加载镜像 2.启动实验容器 二、配置Hadoop环境 1.配置JAVA环境 2.配置分布式模式 3.配置hosts文件 4.配置SSH无密码登录 5.安装Hadoop并配置环境变量 三、配置+集群环境 1.修改文件slaves 2.修改文件core-site.xml 3. 修改文件hdfs-site.xml 4.修改文件mapred-site.xml 5.修改文件yarn-site.xml 四、配置slave节点 五、启动Hadoop集.
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
实验一Hadoop大数据集群搭建
11-11
【实验一Hadoop大数据集群搭建】是一门针对大数据导论课程的实践操作，旨在让学生掌握如何在Ubuntu或CentOS操作系统上构建Hadoop集群。实验详细分解了五个主要步骤，涵盖了虚拟机配置、Hadoop和JDK的安装、集群克隆...
2_2 hadoop集群安装部署.pdf
07-16
Hadoop集群安装部署的知识点总结如下： 1. Hadoop集群安装部署的目标： - 掌握Hadoop的集群安装配置方法； - 掌握SSH配置方法； - 掌握Hadoop集群服务启动与停止； - 会使用Hadoop集群运行简单的MapReduce计算...
Hadoop集群搭建总结
10-21
重点描述hadoop2.0的大数据处理环境搭建过程
Hadoop课程实验和报告——Hadoop安装实验报告
06-30
Hadoop课程实验和报告——Hadoop安装实验报告
完全分布式模式的Hadoop集群安装
03-22
Linux操作系统下，使用三台虚拟机搭建Hadoop集群，包括实验环境变量的配置，Hadoop集群的安装及测试详细步骤。
Hadoop搭建实验报告
08-02
NULL 博文链接：https://daxiangwanju.iteye.com/blog/1962175
VMware workstation 16虚拟机下hadoop集群安装过程
06-02
为了在VMware Workstation 16中搭建Hadoop集群，首先需要准备安装虚拟机软件的高性能计算机，然后在该计算机上安装Linux系统，创建多台虚拟机，再让这些虚拟机构成一个局域网络。这样，你就可以在这个内部网络上安装...
hadoop安装流程
qq_43519594的博客
03-18 3736
这篇文章主要记录安装hadoop的过程，给后来者一点帮助， 官网获取安装包 选一款你想要的 Apache Hadoop 下载完成后上传到服务器（我用的是finalshell） 先别急着解压 准备Java包 像上面一样官网下载对应的Java包 这边我已经准备好了 jdk-8u212-linux-x64.tar 同样的 上传到服务器 现在我们开始正式安装hadoop 新建一个个人用户 adduser wolf (我用的是wolf 大家可以随意设计) su – wolf...
hadoop连接finalshell及jdk配置
qq_51598042的博客
10-24 3035
Hadoop连接finalshell及jdk配置
接上篇文章，完成Hadoop集群部署实验
qq_49096000的博客
11-17 2174
基于开源软件搭建满足企业需求的Hadoop生态系统,构建基础的大数据分析平台。本实验采用4台机器搭建Hadoop完全分布式集群，其中1台机器作为Master节点，另外三台机器作为Slave节点，主机名分别为Slave1，Slave2和Slave3。本次实验采用完全分布式集群安装方式，需要提前部署JDK环境、SSH验证等过程。安装并启动后可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
大数据学习
weixin_47109902的博客
09-30 1311
大数据学习(一)
实验1Hadoop集群部署实验报告
最新发布
05-24
本次实验旨在学习Hadoop分布式计算框架的...通过本次实验，我学习了Hadoop分布式计算框架的部署和使用方法，了解了Hadoop集群的配置和启动方式，并成功运行了Hadoop自带的wordcount例子，加深了对Hadoop的理解和应用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值