【集群搭建专题】——Hadoop集群搭建

最新推荐文章于 2024-08-04 13:23:56 发布
最新推荐文章于 2024-08-04 13:23:56 发布
阅读量326 收藏 1
点赞数
分类专栏： 大数据专题 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44275259/article/details/108307355
版权

Hadoop基础——HDFS——存储数据

NameNode

存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode

DataNode

在本地文件系统存储文件块数据，以及块数据的校验和。
基本单位是块(block)，默认128M。

SecondaryNameNode

用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照

Hadoop基础——Yarn——计算调度

MapReduce

客户端利用利用MapReduce描述数据计算和处理的任务细节，交给hadoop的Yarn；Yarn则调度多台物理机的CPU完成计算，然后存储的hdfs中，常见操作有Map（映射）、Reduce（归约）

常见组件

1、客户端，提交mapreduce作业
2、yarn资源管理器，负责集群上计算资源的协调
3、yarn节点管理器，负责启动和监控集群中机器上的计算容器（container）
4、mapreduce的application master，负责协调运行mapreduce的作业
5、hdfs，分布式文件系统，负责与其他实体共享作业文件

在这里插入图片描述

旗下组件

ResourceManager

是全局的，负责对于系统中的所有资源有最高的支配权
ApplicationMaster：负责处理client提交的jobob以及协商第一个container以供applicationMaster运行；
Scheduler： Scheduler负责分配最少但满足application运行所需的资源量给Application。Scheduler只是基于资源的使用情况进行调度，并不负责监视/跟踪application的状态，当然也不会处理失败的task。

NodeManager

NodeManager 执行和监控任务需要资源实时共享数据节点的资源

Hadoop集群搭建——基本准备

环境准备

Java环境搭建
Hadoop下载：https://pan.baidu.com/s/1FFaUcMlfmmYIaFHGybwAgQ
（提取码：qyd2）

安装单机Hadoop

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

导入

用Xftp 将下载好的tar放入到opt目录下；

解压

解压安装包、并重命名

tar -zxvf /opt/hadoop-2.7.3.tar.gz
mv /opt/hadoop-2.7.3 /usr/local/hadoop

环境变量

修改

vi /etc/profile

export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/usr/local/hadoop
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PS: JAVA_HOME、HADOOP_HOME、JRE_HOME声明在前面即可

刷新

source /etc/profile

测试

hadoop version

在这里插入图片描述
关闭防火墙

systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld

Hadoop单机搭建——搭建指令

配置文件
/usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
	<!--指定namenode的地址-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://127.0.0.1:9000</value>
	</property>
</configuration>

/usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
	<!--指定hdfs保存数据的副本数量-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

cd /usr/local/hadoop/etc/hadoop
cp mapred-site.xml.template mapred-site.xml

<configuration>
	<!--告诉hadoop以后MapReduce运行在YARN上-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

/usr/local/hadoop/etc/yarn-site.xml（yarn配置）

<configuration>
	<!-- Site specific YARN configuration properties -->
	<!--nomenodeManager获取数据的方式是shuffle-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

/usr/local/hadoop/etc/hadoop/hadoop-env.sh（修改以下java配置，因为这里无法读取java环境变量，所以写死一个值）
在这里插入图片描述

格式化命令

/usr/local/hadoop/bin/hadoop namenode -format

注意，如果报UTF-8错误，则必须将中文删掉，但是用notepad++编辑就不会，不要用记事本

启动脚本

sh /usr/local/hadoop/sbin/start-all.sh #停止
sh /usr/local/hadoop/sbin/stop-all.sh  #启动

http://172.168.233.128:8088 yarn页面
http://172.168.233.128:50070 hdfs页面
Ps：无法访问的话，记得关闭虚拟机防火墙

Hadoop集群搭建——基本指令

创建

创建目录：hdfs dfs -mkdir /winnie
创建文件：hdfs dfs -touchz /winnie/test03.txt
上传文件： hdfs dfs -put [本地目录/文件夹] [hadoop目录]

查看

查看目录：hdfs dfs -ls [文件目录]
查看文件：hdfs dfs -cat [file_path]
查看数量：hdfs dfs -count /

删除

hdfs dfs -rm [文件地址]
hdfs dfs -rm -r [目录地址]
hdfs dfs -rmr [目录地址] （递归删除）

获取

hdfs dfs -get [文件目录] [本地目录]
hdfs dfs -getmerge /winnie/hadoop-file /home/spark/hadoop-file/test.txt（获取并重命名）

修改

hdfs dfs -mv /winnie/test03.txt /winnie/test.txt

其他

hadoop job -kill [job-id]

Hadoop集群搭建——主从版本

一主从三从机制

172.168.233.128 master 
172.168.233.129 slave1
172.168.233.130 slave2 
172.168.233.131 slave3

准备工作——Host映射配置

批量执行

vi /etc/hosts

172.168.233.128 master 
172.168.233.129 slave1
172.168.233.130 slave2 
172.168.233.131 slave3

准备工作——SSH免密登录

生成公钥（全部一起执行）

cd ~/.ssh
ssh-keygen -t rsa (一直回车)

生成密钥（master执行）

cp id_rsa.pub authorized_keys 
chmod 644 authorized_keys 
sudo service sshd restart

传送密钥（master执行）

（这里.ssh的位置需要注意下，由于我用的是root用户，所以直接就在/root下，其他可能是/home/用户名/下）

可以ssh切换到其他连接 看一下是否生效就知道了该操作是否有效

scp /root/.ssh/authorized_keys slave1:/root/.ssh 
scp /root/.ssh/authorized_keys slave2:/root/.ssh 
scp /root/.ssh/authorized_keys slave3:/root/.ssh

修改主机名（分别执行在四台机器上）

此操作必须，否则机器无法区分出是不同机器

hostnamectl --static set-hostname master
hostnamectl --static set-hostname slave1
hostnamectl --static set-hostname slave2
hostnamectl --static set-hostname slave2

准备工作——配置文件

先在master配置好，然后scp给各个其他节点

core-site.xml：

<configuration>  
      <property>  
        <name>fs.default.name</name>  
        <value>hdfs://master:9000</value>  
      </property>  
      <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/opt/hadoop/tmp</value>  
      </property>  
</configuration>

hdfs-site.xml：

 <configuration>  
      <property>  
        <name>dfs.replication</name>  
        <value>2</value>  
      </property>  
      <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>file:/opt/hadoop/dfs/name</value>  
      </property>  
      <property>  
        <name>dfs.datanode.data.dir</name>  
        <value>file:/opt/hadoop/dfs/data</value>  
      </property>  
 </configuration>

mapred-site.xml：

<configuration>  
      <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
      </property>  
      <property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>Master:10020</value>  
      </property>  
      <property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>Master:19888</value>  
      </property>  
</configuration>

yarn-site.xml：

<configuration>     
    <!-- Site specific YARN configuration properties -->  
      <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
      </property>  
      <property>  
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>master:8032</value>  
      </property>  
      <property>  
    <name>yarn.resourcemanager.scheduler.address</name>  
        <value>master:8030</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>master:8031</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>master:8033</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>master:8088</value>  
      </property>  
</configuration>

slaves

slaves是一个文件在/usr/local/hadoop/etc/hadoop目录下

slave1 
slave2
slave3

搭建工作——分发配置

分发hadoop配置

su root
scp -r /usr/local/hadoop slave1:/usr/local/hadoop 
scp -r /usr/local/hadoop slave2:/usr/local/hadoop 
scp -r /usr/local/hadoop slave3:/usr/local/hadoop

分发环境变量配置

scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile
scp -r /etc/profile slave3:/etc/profile

批量执行——刷新环境变量

scp -r /usr/local/hadoop slave1:/usr/local/hadoop 
scp -r /usr/local/hadoop slave2:/usr/local/hadoop 
scp -r /usr/local/hadoop slave3:/usr/local/hadoop 

chmod 755 /opt/hadoop/dfs
chmod 755 /opt/hadoop/tmp

搭建工作——启动主节点

由于采用了密钥模式，只需操作主节点，所有从节点和自动自动hadoop来完成功能

删除脏数据

rm -rf /opt/hadoop/dfs/
rm -rf /opt/hadoop/tmp/
rm -rf /usr/local/hadoop/logs

重新格式化（仅在主节点）

由于改了配置，所以需要namenode初始化一次

/usr/local/hadoop/bin/hadoop namenode -format

全部启动（仅在主节点）

cd /usr/local/hadoop
sbin/start-all.sh

分开启动（仅在主节点）

 单独启动hdfs：sbin/start-dfs.sh
 单独启动yarn：sbin/start-yarn.sh

关闭（仅在主节点）

sbin/stop-all.sh

搭建工作——测试

从节点JPS

在这里插入图片描述

有datanode没namenode

在这里插入图片描述
主节点JPS

没datanode有namenode

在这里插入图片描述
数据节点启动失败

有可能是多次format导致数据版本不一致，需要手动修改
可以在这里看到namenode或者datanode的启动日志进而排错
版本修改后要保持集群的一致性，需要复制他们

每个节点查看以下文件
vi /opt/hadoop/hdfs/current/VERSION

UUID和clusterID必须一致，storageType必须是DATA_NODE

storageID=DS-255b4fcb-7ade-433f-a14a-4bead35c0902
clusterID=CID-ec926c36-cc13-4b06-a239-21854f9b7221
cTime=0
datanodeUuid=8f1cc8a2-e5c0-4346-8339-b4d1b5e6a2d6
storageType=DATA_NODE
layoutVersion=-56

命名节点启动失败

如果更改了配置，注意重新格式化一下

/usr/local/hadoop/bin/hadoop namenode -format

只有一个节点

修改主机名

hostnamectl --static set-hostname master
hostnamectl --static set-hostname slave1
hostnamectl --static set-hostname slave2
hostnamectl --static set-hostname slave2

Hadoop集群搭建——HA版本

骆子无悔
关注
专栏目录
Hadoop-集群搭建
weixin_52972575的博客
07-19 955
Hadoop集群搭建
hadoop集群搭建
qq_52159080的博客
03-20 2636
hadoop集群搭建包括了hadoop的安装，以及hadoop的文件配置还有hadoop的节点配置，启动集群
Hadoop搭建集群
最新发布
m0_70405779的博客
08-04 2444
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4766
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
Hadoop集群搭建
weixin_43618754的博客
03-04 1397
hadoop集群搭建
java 连接hadoop集群_hadoop集群访问——Hadoop客户端访问、Java API访问
weixin_35724881的博客
02-13 1463
上一篇中介绍了hadoop集群搭建方式，本文介绍集群的访问。集群的访问方式有两种：hadoop客户端访问，Java API访问。一、集群客户端访问Hadoop采用C/S架构，可以通过客户端对集群进行操作，其实在前面搭建的集群环境中，每个集群节点都可以作为一个客户端进行集群访问，但是一般场景下，会将集群服务器作为整体，从外部设置客户端对集群进行访问。为了能从集群服务器外部访问，需要一台与集群服务器在...
三节点高可用集群搭建——Hadoop-HA+zookeeper
tao_629的博客
10-15 1058
目录 HDFS -HA模式的工作机制示意图 集群规划——三节点高可用 Hadoop HA集群搭建 前期准备 创建新的虚拟机 配置虚拟机 克隆虚拟机 配置环境变量，刷新（master、slave1、slave2都配置一下环境变量） 安装zookeeper集群 配置文件 拷贝文件 拷贝jdk、zookeeper到slave1和slave2节点 修...
Hadoop（1）——Hadoop集群构建（1）——虚拟机创建
weixin_54348877的博客
09-14 994
1问：学习《Hadoop大数据技术原理与应用 》为什么要使用虚拟机？ 1答：Hadoop集群搭建涉及到多台机器，我们没有这么多机器，就要使用虚拟机在一台电脑上构建多个Linux虚拟环境，来学习和训练。 2问：我没有虚拟机怎么办？ 2答：在资源里传了虚拟机：VMware，这个软件，下载安装好就行，无脑下一步。 3问：虚拟机下载好长什么样？ 3答：长这样 创建虚拟机 方法1：点开虚拟机，可以看到主页上这个这么大的创建虚拟机按钮 方法2：点文件->点新建虚拟机 点击新建虚.
hadoop集群搭建——JDK的安装
01-21
### hadoop集群搭建——JDK的安装 #### 实验背景及目标 在部署Hadoop集群的过程中，第一步往往是安装Java Development Kit (JDK)，因为Hadoop是基于Java开发的，因此在集群上的每个节点都需要安装JDK。本实验旨在...
大数据之Hadoop学习（环境配置）——Hadoop伪分布式集群搭建
lzw2016的博客
11-18 1460
title: Hadoop伪分布式集群搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大数据 点击查看我的博客: Josonlee’s Blog 文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免...
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 4万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop 集群搭建
yuyu的博客
03-24 2142
使用三台虚拟机，搭建一个 Hadoop 集群
hadoop_集群搭建
lingdu6633的博客
07-10 406
准备工作：1，创建一台虚拟机，安装java jdk 这里选择1.82，给虚拟机并配置好静态IP地址。
搭建hadoop集群
qq_44715376的博客
05-24 4290
搭建hadoop集群
1、hadoop集群搭建
赞的心路历程
07-04 587
这两种shell的主要区别在于，它们启动时会加载不同的配置文件，login shell启动时会加载/etc/profile，~/.bash_profile，~/.bashrc。面临问题：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc，~/.bash_profile等，下面说明上述几个文件之间的关系和区别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值