大数据练习环境部署(3) - Hadoop集群部署

已于 2022-12-23 10:44:38 修改
阅读量440 收藏
点赞数
文章标签： hadoop 大数据 分布式
于 2022-12-22 18:14:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45611266/article/details/128211881
版权

目录

1. 环境配置

1.1 创建hadoop用户

装 Ubuntu 的时候如果不是用的 hadoop 用户，那么需要增加一个名为 hadoop 的用户。（因为后续需要频繁用到用户名）
首先按 ctrl+alt+t 打开终端窗口，

# 创建新用户
sudo adduser hadoop

# 为 hadoop 用户sudo操作权限
sudo usermod -aG sudo hadoop

# 在另外两台机器上做同样的用户创建

1.2 修改相关host

已在上个阶段完成

1.3 ssh免密登陆

这个操作是要让 master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

# 登陆到hadoop用户
su hadoop

# 生成密钥
ssh-keygen -t rsa
# 一直回车即可

在这里插入图片描述

master 节点hadoop用户无密码 ssh 到slave机器上，在 master 节点上执行：

cd ~/.ssh
cat ./id_rsa.pub >> ./authorized_keys

# 完成后可执行 ssh master 验证一下（可能需要输入 yes，成功后执行 ctrl+d 返回原来的终端）。
ssh master

## 在远程机器上创建.ssh文件夹，并分发hadoop 用户 在 master节点上的公钥到slave1和slave2上,
scp ~/.ssh/id_rsa.pub hadoop@slave1:~/id_rsa.pub
ssh hadoop@slave1 'mkdir ~/.ssh;cat ~/id_rsa.pub >> ~/.ssh/authorized_keys;rm ~/id_rsa.pub;chmod 700 ~/.ssh;chmod 600 ~/.ssh/authorized_keys'

scp ~/.ssh/id_rsa.pub hadoop@slave2:~/id_rsa.pub
ssh hadoop@slave2 'mkdir ~/.ssh;cat ~/id_rsa.pub >> ~/.ssh/authorized_keys;rm ~/id_rsa.pub;chmod 700 ~/.ssh;chmod 600 ~/.ssh/authorized_keys'

2. JAVA安装

2.1 下载JDK1.8

下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

Q：以前疑惑的一个问题，java17 19 都出来了，为什么还要用1.8，版本之间有什么关系:

java从5开始就是Java5，java6，java7，java8这样命名，
java5之前都是java1，java1.2，java1.3，java1.4这样命名，
到了5，发行公司感觉有革命性的变化，就开始5,6,7,8这样命名，实际上java1.8也就是java8

根据CPU类型选择下载链接：
CPU判断Linux 中的i386,i486,i586,i686和AMD_64，X86,x86_64后缀的区别
在这里插入图片描述一般选tar.gz文件，另外，我的CPU是X64

2.2 解压安装java

# ctrl+d 退回原始用户安装,避免权限太高等问题
cd /opt/
mkdir java
tar -zxvf jdk-8u351-linux-x64.tar.gz -C ./java/
# 做个链接方便以后有时候更换
ln -s jdk1.8.0_351 jdk8

# 修改全局环境变量
sudo vim /etc/profile
# 对应添加如下内容
## # java
## export JAVA_HOME=/opt/java/jdk8
## export JRE_HOME=$JAVA_HOME/jre
## export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
## export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

# 退出后更新下环境变量
source /etc/profile

# java验证
java -version
# 如果能出现下面的信息，即表示完成
# java version "1.8.0_351"
# Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
# Java HotSpot(TM) 64-Bit Server VM (build 25.351-b10, mixed mode)

2.3 分发到其他节点

xsync /opt/java

关于xsync，可以参考xsync同步脚本的创建及使用（以Debian10集群为例）
Tips：根据个人情况修改命令行中的主机名称

2.4 安装过程中遇到的问题

2.4.1 切换到其他用户验证时， PATH环境变量未生效

方法一 增加环境变量参数

登陆系统时shell读取的顺序应该是
/etc/profile ->/etc/environment --> ~/.profile --> ~/.env

所以有可能在/etc/profile中设置环境变量后，被/etc/environment中的环境变量覆盖了

# 查看/etc/environment，可看到
cat /etc/environment 
# PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

# 将内容修改为:
PATH="$PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

为什么/etc/profile 中的环境变量重启后失效了 https://blog.csdn.net/my_wings/article/details/102617631

方法二 注释环境变量

如果方法一对$PATH不生效，则需要 /etc/environment 中的内容注释掉

# PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

说明：以上两种情况都遇到过！

3. Hadoop安装

3.1 下载Hadoop

Hadopp官网
下载地址
在这里插入图片描述

3.2 解压到合适的目录

# 我一般会把软件安装到opt下面
cd /opt
mkdir hadoop
# 解压到合适的路径
tar -zxvf hadoop-3.3.4.tar.gz -C ./hadoop/
# 创链接
cd hadoop
ln -s hadoop-3.3.4/ hadoop
# 删除安装报1 
rm -f ../hadoop-3.3.4.tar.gz

# 为了方便操作，将hadoop文件夹的用户和组进行修改
sudo chown -R hadoop:hadoop ./hadoop/

# 可以验证解压情况
./hadoop/hadoop/bin/hadoop version
# Hadoop 3.3.4
# Source code repository https://github.com/apache/hadoop.git -ra585a73c3e02ac62350c136643a5e7f6095a3dbb
# Compiled by stevel on 2022-07-29T12:32Z
# Compiled with protoc 3.7.1
# From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
# This command was run using /opt/hadoop/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar

3.3 修改环境变量

sudo vim /etc/profile

# 增加下面的内容
# hadoop 
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# source 下环境变量生效
source /etc/profile

3.4 修改配置文件

# 切换到hadoop用户开始修改配置文件
su hadoop

cd ./hadoop/hadoop/etc/hadoop

可以安装一个sublime(ubuntu software里面就有)，通过sublime编辑器来配置环境变量会方便一些(SFTP/FTP)

3.4.1 修改hadoop-env.sh

vim hadoop-env.sh 

# 增加下面的环境变量内容 
export JAVA_HOME=/opt/java/jdk8

3.4.2 修改core-site.xml

vim core-sites.xml

<!-- 在配置信息中添加如下内容 -->
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop/hadoop/tmp</value>  
		<!--临时文件保存路径。不需要我们提前建好文件夹，如果没有，格式化名称节点时会自动创建-->
	</property>
</configuration>

3.4.3 修改hdfs-site.xml

vim hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>    
		<!--对于Hadoop的分布式文件系统HDFS而言，一般都是采用冗余存储，冗余因子通常为3，也就是说，一份数据保存三份副本-->
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/opt/hadoop/hadoop/tmp/dfs/name</value>  
		<!--不需要提前建好文件夹，如果没有，格式化名称节点时会自动创建-->
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/opt/hadoop/hadoop/tmp/dfs/data</value>  
		<!--不需要提前建好文件夹，如果没有，格式化名称节点时会自动创建-->
	</property>
<!-- 	<property>
		<name>dfs.namenode.http-address</name>
		<value>master:9870</value>
	</property> -->
</configuration>

3.4.4 修改mapred-site.xml

vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
</configuration>

3.4.5 修改yarn-site.xml

vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:18040</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:18030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:18025</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:18141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
		<!-- yarn的可视化界面web地址-->
	</property>

<!-- Site specific YARN configuration properties -->

</configuration>

3.4.6 workers

vim workers

slave1
slave2

3.5 分发到其他节点

xsync /opt/hadoop/

3.6 启动、验证、关闭

3.6.1 格式化

首次启动需要先在 master 节点执行 NameNode 的格式化：

hdfs namenode -format

3.6.2 启动

start-all.sh
## 10秒启动
# WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.
# WARNING: This is not a recommended production deployment configuration.
# WARNING: Use CTRL-C to abort.
# Starting namenodes on [master]
# Starting datanodes
# Starting secondary namenodes [OzupeSirMachine]
# Starting resourcemanager
# Starting nodemanagers

3.6.3 验证

3.6.3.1 jps

通过jps命令可以查到各个节点启动的进程

# 在master节点上可以看到如下任务：
# Jps
30951 Jps
23128 SecondaryNameNode
22731 NameNode
23405 ResourceManager

# 在slave节点上可以看到如下任务：
1826 Jps
1734 NodeManager
1607 DataNode
3.6.3.2 通过hdfs命令查看
hdfs dfsadmin -report

#  查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。
Configured Capacity: 39792705536 (37.06 GB)
Present Capacity: 19667972096 (18.32 GB)
DFS Remaining: 19667914752 (18.32 GB)
DFS Used: 57344 (56 KB)
DFS Used%: 0.00%
Replicated Blocks:
	Under replicated blocks: 0
	Blocks with corrupt replicas: 0
	Missing blocks: 0
	Missing blocks (with replication factor 1): 0
	Low redundancy blocks with highest priority to recover: 0
	Pending deletion blocks: 0
Erasure Coded Block Groups: 
	Low redundancy block groups: 0
	Block groups with corrupt internal blocks: 0
	Missing block groups: 0
	Low redundancy blocks with highest priority to recover: 0
	Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (2):

Name: 192.168.245.129:9866 (slave1)
Hostname: slave1
Decommission Status : Normal
Configured Capacity: 19896352768 (18.53 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 9017446400 (8.40 GB)
DFS Remaining: 9842262016 (9.17 GB)
DFS Used%: 0.00%
DFS Remaining%: 49.47%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 0
Last contact: Thu Dec 22 09:50:00 UTC 2022
Last Block Report: Thu Dec 22 09:49:39 UTC 2022
Num of Blocks: 0


Name: 192.168.245.130:9866 (slave2)
Hostname: slave2
Decommission Status : Normal
Configured Capacity: 19896352768 (18.53 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 9034047488 (8.41 GB)
DFS Remaining: 9825652736 (9.15 GB)
DFS Used%: 0.00%
DFS Remaining%: 49.38%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 0
Last contact: Thu Dec 22 09:50:00 UTC 2022
Last Block Report: Thu Dec 22 09:49:39 UTC 2022
Num of Blocks: 0
3.6.3.3 web端验证

yarn web ：http://master:8088
说明：通过修改 yarn-site.xml更改端口

hdfs web ：http://master:9870
说明：通过修改 hdfs-site.xml更改端口

3.6.3.4WordCount测试
# 文件验证
cd /opt/hadoop/hadoop

# hdfs创建文件夹
hdfs dfs -mkdir -p /usr/hadoop/tmp/conf

# hdfs上传文件
hdfs dfs -put etc/hadoop/*-site.xml /user/hadoop/tmp/conf

3.6.4 关闭

stop-all.sh
OzupeSir
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据环境部署3：Hadoop环境部署
nisjlvhudy的专栏
10-22 1011
一、安装Hadoop 0、下载安装包 Wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 1、解压 tar-xzvf hadoop-2.6.0.tar.gz  2、move到指定目录下：[spark@LOCALHOST]$
hadoop集群部署
u013420833的专栏
03-16 505
Hadoop集群分布式安装 1.Hadoop简介 2 2.环境说明 4 3.ubuntu下安装JDK 5 4.安装ssh服务 6 5.安装hadoop 7 6.常用端口配置 12                                       1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以...
大数据练习环境部署(4) - Hive部署
OzupeSir
12-26 221
Hive部署
hadoop入门（六）：集群测试
m0_67394230的博客
09-06 501
blk_1073741825和blk_1073741825_1001.meta中就是相关文件。文件的命名和命令行终端不同，命名规则是 “blk_”+ID，后面 .meta也是存储信息的描述。这里面实际只存储了一个链接，实际存储的数据在datanode节点。
hadoop大数据教程 hadoop视频教程培训 hadoop最新实战教程
OTTORUO的博客
02-22 294
最新在学习hadoop 、storm大数据相关技术，发现网上hadoop 、storm 相关学习视频少之又少，我这里整理了传智播客段海涛老师的hadoop学习视频，给大家学习。     视频下载地址：http://demo.liuy88.cn/jp0857.html -------------------课程目录------------------- 第一天        hadoop的...
Hadoop 集群小案例
m0_72168501的博客
10-24 601
放一些小案例进去
ssh免密码登陆（三个节点master slave1 slave2）详细带命令版
weixin_30240349的博客
09-02 4489
准备工作： 首先修改三个节点的名称分别为master slave1 slave2。建议以vim /etc/sysconfig/network的方式修改 修改三个节点的/etc/hosts文件 如下形式： 192.168.43.202 master 192.168.43.253 slave1 192.168.43.113 slave2 前面为各自机器对应的IP 配置ssh免密码登录（三个节点m1、s...
大数据技术基础-安装-hadoop-过程.docx
06-21
在继续Hadoop集群安装之前，确保Linux系统是最新的，执行`sudo apt-get update`和`sudo apt-get upgrade`。此外，安装网络工具如net-tools，以便查看IP地址。对于Hadoop集群，我们需要多台虚拟机，因此可能需要通过...
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第2期_机器信息分布表 共6页.pdf
03-20
5. **Hadoop集群部署**：部署过程通常包括安装Hadoop软件栈、配置集群文件（如hadoop-env.sh, core-site.xml, hdfs-site.xml等）、格式化NameNode、启动服务等步骤。资料中的部署图展示了实际机器的物理布局，有助于...
大数据技术与应用基础-教学大纲.docx
11-24
在Hadoop部分，课程深入讲解了Hadoop单机和集群环境的部署，强调了HDFS（Hadoop Distributed File System）的基本概念和使用，以及MapReduce编程模型。学生将学习如何使用Hadoop的JAVA API接口编写Map和Reduce过程，...
云计算分布式大数据-Hadoop深入浅出案例驱动实战外训讲义.rar
09-06
实战环节将引导学员亲手搭建Hadoop集群，部署HDFS和MapReduce任务，体验大数据处理的过程。同时，通过解决实际问题，提升学员对Hadoop的理解和应用能力。 总结来说，"云计算分布式大数据-Hadoop深入浅出案例驱动...
配置ssh，实现节点间的无密码登录
weixin_34195364的博客
05-09 768
机器如下配置192.168.121.101master.hadoop192.168.121.201slave1.hadoop192.168.121.202slave2.hadoop安装ssh和rsync服务，机器已经安装就可以省略配置master无密码登录所有slave以下操作在master机器上完成以下操作在slave机器上完成4.配置所有slave无密码登录ma...
史上最详细的Hadoop环境搭建
热门推荐
黑白相间...
11-13 2万+
GitChat 作者：鸣宇淳&amp;nbsp;原文：&amp;nbsp;史上最详细的Hadoop环境搭建&amp;nbsp;关注公众号：GitChat 技术杂谈，一本正经的讲技术&amp;nbsp;【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度...
物联网架构之Hadoop（分布式文件系统与企业级应用）
2401_85084312的博客
08-21 142
然后查看hadoop的配置文件，首先以hduser的身份登录进入到解压目录下的etc；将hadoop的安装包，拷贝到hduser的家目录，并切换到该用户下进行解压；如果考虑要扩展节点，那么要在该文件中写入新添加节点的主机名和IP地址；管理主机的主机名及端口，和缓存目录的路径等信息；以hsuser的身份登录进去，然后生成免密登录的密钥对；该文件中写的是从节点（DataNode）的主机名；然后将描黑的模版文件拷贝成可以使用的文件；创建一个测试用的目录，然后在生成测试文件；这个文件中定义的是yarn组件的信息；
物联网架构之Hadoop
热爱IT行业
08-21 326
指无法在一定时间范围内用常规的软件工具进行捕捉，管理和处理的巨量数据集合需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产数据Hadoop是Apache基金会旗下的分布式系统基础架构用户可以在不了解分布式底层细节的情况下，开发分布式程序充分利用集群的为例进行高速运算和存储是一个主/从体系架构，以分布式进行存储的分布式文件系统主要负责群集数据的存储与读取。
Hadoop 中的大数据技术：Zookeeper安装 （2）
qq_45115959的博客
08-21 684
1）安装JDKLinux环境安装 JDK2）拷贝安装包到Linux系统下3）解压到指定目录4）修改名称1）将这个路径下的修改为zoo.cfg；2）打开zoo.cfg文件，修改dataDir路径：3）在这个目录上创建zkData文件夹1）启动Zookeeper2）查看进程是否启动3）查看状态4）启动客户端5）退出客户端：6）停止ZookeeperZookeeper中的配置文件zoo.cfg中参数含义解读如下：Leader和。
WPF用户控件User Control的使用-在MVVM架构下实现能量条效果
weixin_67244432的博客
08-21 311
定义用户控件是由一组现有的WPF控件组成，并在一个XAML文件中定义的可重用的控件。它可以包含多个控件、布局和行为，形成一个独立的、可在应用程序中多次使用的模块。特点可重用性：用户控件的设计目的是提高代码的重用性，使得界面元素的组合和布局能够在应用程序中重复利用。模块化：通过将界面划分为多个独立的用户控件，可以实现更好的模块化设计，有助于代码的维护和管理。易于扩展：用户控件可以根据需要轻松地进行扩展，包括添加新的控件、更改布局或修改逻辑等。
Hadoop的概念
最新发布
qq_51678989的博客
08-21 674
目前，有很多大数据处理系统可以处理大数据，如表名称类型说明Hadoop开源Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。Spark开源类似Hadoop MapReduce的并行框架，用于快速处理大量数据。Storm开源实时的、分布式以及具备高容错的计算系统。MongoDB开源面向文档的NoSQL数据库，用于存储和检索键值对数据。商用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值