大数据技术之Hadoop（一）

最新推荐文章于 2025-05-13 17:20:00 发布
最新推荐文章于 2025-05-13 17:20:00 发布
阅读量1k 收藏 15
点赞数 26
文章标签： 大数据 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58017289/article/details/147795208
版权

一、什么是Hadoop

Hadoop 是一个开源的 分布式计算框架，用于高效存储和处理 海量数据（TB/PB级）。它最初由 Apache 开发，灵感来自 Google 的 MapReduce 和 Google File System (GFS) 论文，旨在解决传统数据库无法处理的大规模数据问题。

二、Hadoop 的核心内容

组件作用
HDFS (Hadoop Distributed File System)分布式文件系统，负责 海量数据的存储。
YARN (Yet Another Resource Negotiator)集群 资源管理和任务调度 框架，管理计算资源（CPU、内存）。
MapReduce分布式计算模型，用于 并行处理大数据。
Hadoop Common提供基础库和工具，支持其他模块运行。

三、HDFS 的核心内容

1、核心架构（主从模式）

组件角色
NameNode主节点，管理文件系统的 元数据（文件名、目录结构、数据块位置等）。
DataNode从节点，存储 实际数据块，并定期向 NameNode 汇报状态。
Secondary NameNode辅助 NameNode，定期合并元数据镜像和编辑日志（非热备）。

四、HDFS集群搭建

1、三台主机网络配置：
主机名IP
host181192.168.1.181/24
host182192.168.1.182/24
host183192.168.1.183/24
2、关闭三台主机的防火墙

（三台都配置）

# 三台主机都执行以下命令关闭防火墙
su - root
systemctl stop firewalld
systemctl disable firewalld

# 查看防火墙状态
systemctl status firewalld
3、永久关闭selinux

（三台都配置）

# 三台主机都执行以下命令永久关闭selinux(需要重启)
su - root
vi /etc/selinux/config

# 修改为如下内容
########
SELINUX=disabled
########

# 重启服务器
reboot

# 验证，输出应为 Disabled。
getenforce
4、配置主机名称和主机 hosts文件

主机名称配置（三台都配置）

su - root
hostnamectl set-hostname 新主机名

hosts文件配置（三台都配置）

su - root
vi /etc/hosts

# hosts文件末尾加入如下配置
####################
192.168.1.181 host181
192.168.1.182 host182
192.168.1.183 host183
####################
5、创建hadoop账户

（三台主机都操作）

最好用专用的账户，避免以 root 用户启动

su - root
# 创建账户
useradd hadoop

# 配置密码
passwd hadoop
 6、检查主机间的网络通信
ping host181
ping host182
ping host183
ping www.baidu.com
7、配置三台主机之间hadoop账户的互信

三台主机都操作：

su - hadoop

# 生成密钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

仅host181主机操作：

su - hadoop

# 创建authorized_keys文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh hadoop@host182 "cat ~/.ssh/id_rsa.pub" >> ~/.ssh/authorized_keys
ssh hadoop@host183 "cat ~/.ssh/id_rsa.pub" >> ~/.ssh/authorized_keys

# 分发authorized_keys文件
scp ~/.ssh/authorized_keys hadoop@host182:~/.ssh/
scp ~/.ssh/authorized_keys hadoop@host183:~/.ssh/

三台主机都操作

su - hadoop

# 设置正确权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

验证：（三台主机都操作）

# 如果都不用密码就能登录，即互信成功
su - hadoop
ssh hadoop@host181
ssh hadoop@host182
ssh hadoop@host183
8、jdk的安装

JDK1.8（三台都安装）

下载链接：Java Downloads | Oracle

​

su - root

# 进入软件包所在目录
cd tool

# 解压软件包
tar -zxvf jdk-8u391-linux-x64.tar.gz

# 更改名称并移动位置
mv jdk1.8.0_391 /usr/local/jdk1.8

# 配置环境变量
vi /etc/profile

# /etc/profile文件末尾加入如下内容
#################
export JAVA_HOME=/usr/local/jdk1.8   # 这里设置解压的Java目录文件
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
#################

# 使配置立即生效
source /etc/profile

# 验证
java -version

9、Hadoop安装

安装包获取：Hadoop1.3.1

将获取的安装包上传到虚拟机中，我这边上传到了 /home/hadoop 目录下

接下来进行Hadoop的安装

su - hadoop

# 解压安装包
tar -zxvf hadoop-3.1.3.tar.gz
# 重命名
 mv hadoop-3.1.3 hadoop
10、更改Hadoop相关配置

（1）workers文件配置（仅主节点修改）

vi /usr/local/hadoop/etc/hadoop/workers

# 填充一下内容，表示集群记录的节点
#####################
host181
host182
host183
#####################

（2）配置hadoop-env.sh文件（三个节点都修改）

# 创建日志目录
mkdir -pv /home/hadoop/hadoop/logs


vi /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh
# 填充以下内容
###############################
# JAVA_HOME 指明JDK的环境位置
export JAVA_HOME=/usr/local/jdk1.8

# HADOOP_HOME 指明hadoop的环境位置        
export HADOOP_HOME=/home/hadoop/hadoop

# 关闭进程优先级调整
export HADOOP_NICENESS=0
 
# HADOOP_CONF_DIR 指明Hadoop的配置目录
export HADOOP_CONF_DIR=HADOOP_HOME/etc/hadoop
      
# 指明Hadoop运行日志的目录
export HADOOP_LOG_DIR=HADOOP_HOME/logs
###############################

（3）配置core-site.xml文件（三个节点都修改）

mkdir -pv /home/hadoop/hadoop/data/tmp
vi /home/hadoop/hadoop/etc/hadoop/core-site.xml

# 加入如下内容
# fs.defaultFS 指HDFS文件系统的网络通信路径。

# hdfs//host1:8020 表示整个HDFS内部的通讯地址，应用协议为hdfs//（Hadoop内部协议）,表明DataNode将# 和host1的端口通讯，此配置固定了host1必须启动NameNode进程。

# io.file.buffer.size 表示io操作文件缓冲区大小（bit）。
######################
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://host181:8020</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop/data/tmp</value>
    </property>
</configuration>
######################

（4）配置hdfs-site.xml文件（三个节点都修改）

mkdir -pv /home/hadoop/hadoop/data/namenode
mkdir -pv /home/hadoop/hadoop/data/datanode
vi /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml

# 加入如下内容
# dfs.datanode.data.dir.perm 表示hdfs文件系统默认创建文件权限设置
# dfs.namenode.name.dir 表示NameNode元数据的存储位置
# dfs.datenode.name.dir 表示DataNode存放数据块的目录
# dfs.namenode.hosts 表示NameNode运行哪些节点的DataNode连接
# dfs.blocksize 表示hdfs默认大小256MB
# dfs.replication 表示副本数，根据从节点数调整
######################
<configuration>
    <property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datenode.name.dir</name>
        <value>/home/hadoop/hadoop/data/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>host181,host182,host183</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>
######################

（5）配置mapred-site.xml文件（三个节点都修改）

vi /home/hadoop/hadoop/etc/hadoop/mapred-site.xml 

# 添加如下内容
# mapreduce.framework.name 指定运行MapReduce作业的执行框架
#####################
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
#####################

（6）配置yarn-site.xml文件（三个节点都修改）

vi /home/hadoop/hadoop/etc/hadoop/yarn-site.xml

# 加入如下配置，其中 yarn.resourcemanager.hostname 仅需主节点配置

##########################
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>host181</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
   <!-- 资源调度器 -->
  <property>
    <name>yarn.resourcemanager.scheduler.class</name
   
 <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>
</configuration>
##########################
11、启动Hadoop集群

（在主节点操作）

cd /home/hadoop/hadoop/bin 

# 首次启动需要格式化 NameNode（仅第一次执行！）
./hdfs namenode -format


cd /home/hadoop/hadoop/sbin

# 启动 NameNode + DataNodes + SecondaryNameNode
./start-dfs.sh

# 查看集群节点状态
cd /home/hadoop/hadoop/bin/
./hdfs dfsadmin -report

# 检查进程，主节点启动了三个进程（DataNode,NameNode,SecondaryNameNode），从节点启动了一个进程（DataNode）
jps

# 启动资源调度
cd /home/hadoop/hadoop/sbin/
./start-yarn.sh

# 检查进程，主节点新增了（ResourceManager,NodeManager）,从节点新增了（NodeManager）
jps

# 查看集群节点状态
cd /home/hadoop/hadoop/bin/
./yarn node -list

# 启动历史服务器（可选，用于查看作业日志）
./mapred --daemon start historyserver

# 检查进程，新增了进程（JobHistoryServer）
jps

历史服务员界面，访问 http://<ResourceManager_IP>:19888 查看历史任务。

检查 DataNode 是否存活，存储空间等 http://<NameNode_IP>:9870

YARN ResourceManager（资源管理器）的 Web UI ，http://<ResourceManager_IP>:8088

12、停止hadoop集群
su - hadoop

cd /home/hadoop/hadoop/sbin

# 停止 YARN
./stop-yarn.sh

# 停止 HDFS
./stop-dfs.sh

# 停止所有服务
./stop-all.sh

# 停止历史服务器
cd /home/hadoop/hadoop/bin
./mapred --daemon stop historyserver

大数据技术之Hadoop
weixin_52112640的博客
05-22 5166
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 第一章 大数据概述 1.大数据概念 大数据(Big Data) :指无去在一定时间范围内用常规软件工具进行捕捉、管理和处理的数居集合，是需要新处理模式才能具有更强的央策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储....
大数据技术之Hadoop介绍
小强的博客
12-03 6359
1.大数据概述 大数据是指无法利用传统计算技术进行处理的大规模数据集合。大数据概念不再只是数据，大数据已经成为一个全面的主题概念，包含各类工具、技术以及框架。 大数据包括各类信息设备以及应用程序所产生的数据。大数据所涵盖的一些数据领域如下： 黑盒子数据：是指直升机、普通飞机及喷气式飞机等的组成部分。该数据采集了飞行机组人员的声音、麦克风和耳机的录音以及飞机的性能信息。 社...
大数据技术之Hadoop（HDFS）
西敏寺的乐章的博客
07-22 3540
文件系统是一种存储和组织数据的方法，实现了数据的存储、分级组织、访问和获取等操作，使得用户对文件访问和查找变得容易；文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘哪里，只需要记住这个文件的所属目录和文件名即可；比如windows操作系统数据：指存储的内容本身，比如文件、视频、图片等元数据：又称之为解释性数据，记录数据的数据；一般指文件大小、最后修改时间、底层存储位置、属性、所属用户、权限等信息。Hadoop分布式文件系统。
大数据技术之Hadoop（YARN）
西敏寺的乐章的博客
08-05 2090
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器。YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
大数据开发之Hadoop
2301_79349971的博客
08-08 1577
hadoop介绍hdfs
大数据技术之Hadoop（入门）概述、运行环境搭建、运行模式
热门推荐
huxili2020的博客
06-14 14万+
文章目录1 Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 优势1.3 Hadoop 组成1.3.1 HDFS 架构概述2 组管理和权限管理2.1 组管理2.2 权限管理3 任务调度 1 Hadoop 概述 1.1 Hadoop 是什么 （1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构 （2）主要解决海量数据的存储和海量数据的分析计算问题 （3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈 1.2 Hadoop 优势 （1）高可靠性：H.
大数据技术之Hadoop-大数据分布式
qq_33934592的博客
03-01 694
狭义上：大数据是一类技术栈，是一种用来处理海量数据的软件技术体系。广义上：大数据是数字化时代、信息化时代的基础（技术）支撑，以数据为生活赋能。
大数据技术之Hadoop集群配置
&volume的博客
03-05 2202
作者简介：大家好我是小唐同学(๑>؂
尚硅谷课程【笔记】——大数据之Hadoop【一】
n04j04h06的博客
02-12 1809
尚硅谷课程【笔记】——大数据之Hadoop【一】 Hadoop3.x教程
大数据技术之Hadoop（一）三大框架
five小点心的博客
02-07 6499
Hadoop三大框架：HDFS、MapReduce、Yarn
尚硅谷大数据技术之Hadoop（入门）1
08-04
- **多样**：图2-4展示了数据类型的多样性，处理多种类型数据的能力是大数据技术的关键挑战之一。 - **低价值密度**：图2-5表示大数据中的大部分数据可能没有立即的价值，需要通过深度分析才能揭示隐藏的洞察。 ...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
大数据技术之Hadoop(入门).docx
03-02
### 大数据技术之Hadoop（入门）知识点详解 #### 第1章 大数据概论 ##### 1.1 大数据概念 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。这些数据具有体量巨大、来源多样化、格式...
hive安装日志
weixin_38383877的博客
05-12 866
可以看到，hive cli加载的配置文件是 /opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/jars/hive-common-1.1.0-cdh5.14.4.jar!2、在${HIVE_HOME}/conf/hive-log4j.properties文件中找到 hive.root.logger 属性，并将其修改为下面的设置。在 ${HIVE_HOME}/conf/hive-log4j.properties 文件中记录了Hive日志的存储情况，
RabbitMQ消息的重复消费问题如何解决？
玄武后端技术栈
05-09 613
在RabbitMQ中，消息重复消费是一个常见问题，它通常发生在消费者处理消息时出现网络波动、节点故障或消费者自身处理逻辑异常，ACK 失败等情况，都会导致RabbitMQ 不能够正确感知消息已被成功处理，从而重新投递消息。
Kafka 解惑
DuGuYiZhao的博客
05-13 624
副本，是 Kafka 保证数据高可用的方式，Kafka 同一 Partition 的数据可以在多 Broker 上存在多个副本，通常只有主副本对外提供读写服务，当主副本所在 broker 崩溃或发生网络异常，Kafka 会在 Controller 的管理下会重新选择新的 Leader 副本对外提供读写服务。同一个主题下不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志（Log）文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。
Dinky 安装部署并配置提交 Flink Yarn 任务
最新发布
主要分享大数据相关的知识，如Spark、Hudi
05-13 691
Dinky 安装部署并配置提交 Flink Yarn 任务
RDD的五大特征
2401_84653595的博客
05-12 370
按照“移动数据不如移动计算”的理念，Spark在进行任务调度时，会尽可能地将任务分配到其所要处理数据块的存储位置。RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。举个生活中的例子：高考的时候，每个班的同学都打散到不同的考场，此时的高3（8）班就是一个抽象的概念，在实际中，这个班级的学生可能分布在5个不同的考场。RDD的方法会作用在所有的分区上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值