Hadoop技术栈

已于 2024-07-21 11:46:11 修改
阅读量1.3k 收藏 27
点赞数 35
文章标签： 分布式 hadoop 大数据
于 2024-07-21 08:51:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_64086089/article/details/140577479
版权

1.什么是hadoop（分布式软件框架）

他提供了

  • 分步式数据存储
  • 分布式数据计算
  • 分布式资源调度

为一体的整体解决方案

1.1 hadoop的用处

可以部署在1台乃至成千上万台服务器节点上协同工作。

个人或企业可以借助Hadoop构建大规模服务器集群，完成海量数据的存储和计算。

1.2 hadoop的功能

通常意义上，Hadoop是一个整体，其内部还会细分为三个功能组件，分别是：

  • HDFS组件：HDFS是Hadoop内的分布式存储组件可以构建分布式文件存储系统用于海量数据存储
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序，负责海量数据的计算工作
  • YARN组件：YARN是Hadoop内分布式集群的资源调度组件。可供用户整体调度大规模集群的资源使用。

所以，我们会说Hadoop是一个集合了：存储、计算、资源调度为一体的大数据分布式框架。

1.3 Hadoop的竞品

  • CDH
  • HDP
  • 星环

1.4 为什么需要分布式存储

  • 数据量体量太大，单机存储能力有上限，需要靠数量来解决问题
  • 存储在同一台服务器上空间不足,所以需要对于服务器进行扩展,多台服务共同存储超大文件
  • 数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果
  • 存储原理就是将大文件进行分割,分割后,将数据存储在不同的服务器内部
  • 注意: 分布式存储不一定是存不下,也有可能是在解决存的慢算的慢的问题

 1.5  什么是集群，什么是分布式？（多台服务器参与运行）

集群: 多台服务器共同完成相同的业务,就是一个集群

分布式: 多台服务器共同完成不同的业务就是分布式

一般口语中说的分布式集群服务其实就是多台服务器组成的服务

1.6  hdooop版本 

社区版: 开源免费

  • 优点: 更新速度快,技术新

  • 缺点: 兼容性差不稳定

商业版: CDH 将所有大数据相关组件都重写了一遍并进行了精细测试解决了兼容性问题和稳定性问题

  • 优点: 兼容稳定性好

  • 确定: 技术旧,收费

注意: 企业级开发中我们使用的大多是商业版hadoop, CDH版本Hadoop在6.2.4版本之前是不收费的 

2. 分布式的基础建构分析

2.1 大数据体系中，分布式的调度主要有2类架构模式：

集群架构模式:

主从架构(中心化):

  • 主角色 master: 发号施令,负责任务的接受和分配

  • 从角色 slave:负责干活

主备架构:可以解决中心化存在的问题

  • 主角色active : 正常工作

  • 备角色standby : 观察主角色工作,并实时备份主角色数据,当主角色宕机后,立即上位

  •  去中心化模式: 去中心化模式，没有明确的中心。众多服务器之间基于特定规则进行同步协调
  •  中心化模式:  有明确的中心，基于中心节点分配工作 

即：有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。这种模式，也被称之为：一主多从模式，简称主从模式（Master And Slaves）

主从模式：主从模式（Master-Slaves）就是中心化模式，表示有一个主节点来作为管理者，管理协调下属一批从节点工作。

3.HDFS的基础架构

3.1 什么是HDFS

HDFS是Hadoop三大组件(HDFS、MapReduce、YARN)之一

  • 全称是：Hadoop Distributed File System（Hadoop分布式文件系统）
  • 是Hadoop技术栈内提供的分布式数据存储解决方案
  • 可以在多台服务器上构建存储集群，存储海量的数据

3.2 HDFS的基础架构

  • NameNode：
  • HDFS系统的主角色或主机点，是一个独立的进程
  • 负责管理HDFS整个文件系统
  • 负责管理DataNode
  • SecondaryNameNode：
  • NameNode的辅助角色或辅助节点，是一个独立进程
  • 主要负责帮助NameNode完成管理工作（元数据整理工作（打杂））
  • HDFS的元数据主要存储着文件大小 名称 副本数量等
  • DataNode：
  • HDFS系统的从角色或从节点，是一个独立进程
  • 主要负责数据的存储，即存入数据和取出数据，（数据文件的读或写）

 3.3  HDFS集群部署

 一个典型的HDFS集群，就是由1个NameNode加若干（至少一个）DataNode组成

  • 各个文件夹含义如下
  • bin，存放Hadoop的各类程序（命令）
  • etc，存放Hadoop的配置文件
  • include，C语言的一些头文件
  • lib，存放Linux系统的动态链接库（.so文件）
  • libexec，存放配置Hadoop系统的脚本文件（.sh和.cmd）
  • licenses-binary，存放许可证文件
  • sbin，管理员程序（super bin）
  • share，存放二进制源码（Java jar包）
  • 配置HDFS集群，我们主要涉及到如下文件的修改：
  • workers：  配置从节点（DataNode）有哪些
  • hadoop-env.sh：  配置Hadoop的相关环境变量
  • core-site.xml：  Hadoop核心配置文件
  • hdfs-site.xml：  HDFS核心配置文件

 3.4 部署Hadoop常见的一些出错原因。

  •         这些原因可能导致不同的错误细节，大家可以自行检查是否符合，后面在详细讲解每一种错误的细节。
  • 是否遗漏了前置准备章节的相关操作？
  • 是否遗漏的将文件夹（Hadoop安装文件夹、/data数据文件夹）chown授权到hadoop用户这一操作
  • 是否遗忘了格式化hadoop这一步（hadoop namenode -format）
  • 是否是以root用户格式化的hadoop
  • 是否以root启动过hadoop，后续以hadoop用户启动出错
  • 是否确认workers文件内，配置了node1、node2、node3三个节点
  • 是否在/etc/profile内配置了HADOOP_HOME环境变量，并将$HADOOP_HOME/bin和$HADOOP_HOME/sbin加入PATH变量
  • 是否遗忘了软链接，但环境变量的配置的HADOOP_HOME确是：/export/server/hadoop
  • 是否确认配置文件内容的准确（一个字符都不错），并确保三台机器的配置文件均OK
  • 总结：细心、还是要细心

  • 3.5 掌握HDFS文件系统的基础操作命令

  • HDFS作为分布式存储的文件系统，有其对数据的路径表达方式。
  • HDFS同Linux系统一样，均是以/作为根目录的组织形式：
  • Linux：  /usr/local/hello.txt
  • HDFS：  /usr/local/hello.txt
  • 如何区分呢？
  • Linux：file:///
  • HDFS：hdfs://namenode:port/
  • 如上路径：
  • Linux：file:///usr/local/hello.txt
  • HDFS：hdfs://node1:8020/usr/local/hello.txt
  • 协议头file:/// 或 hdfs://node1:8020/可以省略
  • 1.需要提供Linux路径的参数，会自动识别为file://
  • 2.需要提供HDFS路径的参数，会自动识别为hdfs://
  •     除非你明确需要写或不写会有BUG，否则一般不用写协议头
  • Hadoop提供了2套命令体系
  • hadoop命令（老版本用法），用法：hadoop fs [generic options]：
  • hdfs命令（新版本用法），用法：hdfs dfs [generic options]
如何查询本地文件系统??

# 查询hdfs文件系统
hadoop fs -ls /aaa  # 使用默认的文件管理系统
hadoop fs -ls hdfs://node1:8020/aaa  # 使用完整版文件管理系统地址
# 查询本地文件系统
hadoop fs -ls file:///aaat>

put指令: 从linux 服务器本地上传到hdfs文件系统中

# 格式: hdoop fs -put linux中的文件路径  hdfs中的文件路径
# 上传1.txt 到hdfs中
hadoop fs -put file:///home/hadoop/1.txt hdfs://node1:8020/itcast
# 如果文件已经存在,则添加-f
hadoop fs -put -f file:///home/hadoop/1.txt hdfs://node1:8020/itcast
# 简写形式 : 默认put的源文件在linux服务器上,同时linux系统可以使用相对路径 目标是hdfs文件系统
hadoop fs -put -f /home/hadoop/2.txt /itcast

get命令: 从hdfs文件系统将文件下载到linux文件系统中

# 格式: hadoop fs -get hdfs中的文件路径  linux中的文件路径
# 下载1.txt 文件到hadoop家目录的aaa目录下
hadoop fs -get hdfs://node1:8020/itcast/1.txt file:///home/hadoop/aaa
# 如果文件已经存在则添加-f
hadoop fs -get -f hdfs://node1:8020/itcast/1.txt file:///home/hadoop/aaa
# 简写形式: 默认get的源文件在hdfs文件系统中, 目标路径在linux文件系统中,同时linux系统可以使用相对路径
hadoop fs -get -f /itcast/2.txt ./aaa

移动mv和复制cp命令

# 格式: hadoop fs -mv 原文件路径  目标文件路径
# mv 只能在同一个文件系统中移动,hdfs
# hadoop fs -mv hdfs://node1:8020/itcast/1.txt file:///home/hadoop/aaa/bbb  报错
# 移动本地文件系统数据
hadoop fs -mv file:///home/hadoop/aaa/1.txt file:///home/hadoop/aaa/bbb
# 移动hdfs中文件
hadoop fs -mv hdfs://node1:8020/aaa  hdfs://node1:8020/itcast

# 格式: hadoop fs -cp 原文件路径  目标文件路径
# 3.3版本以后cp可以在不同文件系统间复制.
# cp和linux中的复制基本相同,唯一的不同是,我们复制目录时不需要加-r
hadoop fs -cp hdfs://node1:8020/itcast/aaa  hdfs://node1:8020/bbb
 
# 在mv 和cp中只要我们是hdfs中的路径,可以不写hdfs://node1:8020 因为在服务启动前已经将其配置到core-site.xml中
hadoop fs -cp /itcast/aaa  /ccc

删除命令rm

# 格式: hadoop fs -rm 文件名称
# 格式: hadoop fs -rm -r 目录名称
hadoop fs -rm -r /ccc

# 注意: 在hadoop中rm命令没有-f选项

  3.6 shell命令

  常用命令：

  • ​​​​​​mkdir 创建文件夹
  • ls、cat 列出内容、查看内容
  • cp、mv、rmr 复制、移动、删除
  • put、get 上传、下载
  • appendToFile 向文件追加内容

 补充命令：合并上传及合并下载

为什么用它

  • hdfs中如果小文件过多 会造成 元数据过大 namenode内存负担过大

  • hdfs中一般不存储小文件

 appendToFile 合并上传

# appendToFile的作用就是将本地的小文件上传到hdfs中,合并为一个大文件
# 格式: hadoop fs -appendToFile 本地文件路径 hdfs文件路径
# 可以将数据追加到某个已有的文件末尾
hadoop fs -appendToFile 3.txt /tmp/aaa.txt    
# 也可以同时和并上传多个小文件.
hadoop fs -appendToFile 1.txt 2.txt 3.txt /tmp/1.txt

getmerge合并下载

 # getmerge的作用就是将hdfs中的小文件下载到本地,合并为一个大文件
# 格式: hadoop fs -getmerge hdfs路径 本地路径
hadoop fs -getmerge /tmp/small/* merge.txt
# 合并下载用的比合并上传少很多,因为在linux中一本合并与否不影响数据使用, 而hdfs中如果小文件数量过多,需要合并,否则内存占用极大.

XingChen.
关注
Hadoop大数据技术栈详解
悦分享
09-19 2413
大数据（Big Data）∶指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储和海量数据的分析计算问题。按顺序给出数据存储单位∶bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit、1K=1024Byte、1MB=1024K、1G=1024M、1T=1024G、1P=1024T1. Volume（大量）截至目前，人类生
MongoDB与Hadoop技术栈的整合应用
Tony_老七
06-12 8508
如何在Hadoop技术栈之上，构建基于NoSQL数据库MongoDB的数据应用.
Hadoop与Spark开源大数据技术栈概述
jeorgea的博客
10-26 1379
Hadoop与Spark开源大数据技术栈： 随着大数据技术的快速发展，目前开源社区已经积累了比较完整的大数据技术栈，目前市场上应用最广泛的是以Hadoop与Spark为核心的生态系统。该生态系统分为5个层级分别是：数据收集，数据存储，资源管理与服务协调，计算引擎和数据分析。下面分别对这5个层级进行介绍 1.数据收集层： 该层主要对关系型数据以及非关系型数据进行收集，以及分布式消息的收集 Sqoop/canal：关系型数据收集和导入工具，是连接关系型数据库（MySQL）和Hadoop（HDFS）的桥梁，S
简述hadoop技术栈的组成？
weixin_58468790的博客
08-07 364
简述hadoop技术栈的组成？
hadoop技术栈
weixin_42456166的博客
02-23 607
在整个过程中，HDFS扮演着数据的存储和管理者的角色，MapReduce利用HDFS的分布式特性，实现对海量数据的高效处理和分析。Hive和Hadoop生态系统中的其他组件有很强的关联。总之，Hadoop Common是Hadoop生态系统中的一个核心组件，为Hadoop框架中的其他组件提供了基础设施和公共库，使它们能够在分布式环境中高效地运行。它将计算资源从底层节点上解耦出来，形成一个独立的资源管理器，并提供了一个灵活的、可扩展的资源分配和作业调度机制，使得多个计算框架可以在同一个集群上共享资源。
大数据项目相关技术栈（Hadoop周边技术）
昕友软件博客
08-30 337
J2EE 框架Spring 开发框架 + SSH or SSM Lucene 索引和查询IKAnalyzer 分词Webmagic 爬虫 ETL工具：KettleSqoop 结构化数据库-hadoop数据萃取。可以将一个关系型数据库（MySQL ,Oracle等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 结构化数据库MySQL Oracle 需...
Hadoop
weixin_30263277的博客
09-01 235
1． Hadoop 介绍 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 狭义上说，Hadoop指Apache这款开源框架，它的核心组件有： HDFS（分布式文件系统）：解决海量数据存储 YARN（作业调度和集群资源管理...
【大数据概述】Hadoop技术栈
baidu_34170531的博客
04-22 1157
目录 1. Presto 1.1. 概述 1.2. Presto Hive对比 2. Hive 2.1. Hive概述 2.2. Hive与关系型数据库 关系 2.3. Hadoop 1. Presto 参考: 深入理解Presto 美团: Presto实现实时查询的原理进行分析和总结 1.1. 概述 Presto是Facebook开源的MPP（Massive Parallel Processing）SQL引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。
Hadoop技术栈基础使用手册
seer的博客
05-05 430
文章目录1. base-shell1.1. 网络配置1.2. 防火墙1.3. ntp 时间服务1.4. ssh 免密码登录1.5. 文件操作1) 文件 查找2) 文件 权限3) 文件 创建4) 文件 删除1.6.0系统检查1.6. 安装命令1) 安装 yum 可以联网2) 安装 tar3) 安装 rpm1.7. 环境变量配置1) /etc/profile2) ~/.bashrc1.8. 用户组1....
Hadoop生态圈技术栈(上)
03-25
### Hadoop生态圈技术栈(上): Hive 数据仓库工具详解 #### 一、Hive 概述及背景 Hive 是一款基于 Hadoop 的数据仓库工具，它的主要作用是将结构化的数据文件映射成表格形式，并提供类似 SQL 的查询功能。这种特性...
基于Hadoop与多语言技术栈的电影推荐系统设计源码
最新发布
10-01
该项目是一个基于Hadoop和多种语言技术栈的电影推荐系统源码，总计包含321个文件，涵盖了281个JSON配置文件、10个Java源文件、8个XML配置文件、5个Scala源文件、4个CSV数据文件、3个Python脚本文件、3个Git忽略文件...
大数据之hadoop,spart全套全技术栈视频课程
02-28
大数据之hadoop,spart全套全技术栈视频课程,包含spark,hadoop,storm,kafka,mllib等组件的安装，编程等，依次从基础，进阶直到实际实践。
3.1.3.Hadoop生态圈技术栈（Hive、Flume、Sqoop）
qq_39880483的博客
07-17 1472
任务一：数据仓库工具Hive及交互工具Hue 任务二：数据采集工具Flume 任务三：ETL工具Sqoop及CDC
不要错过，Hadoop、Spark 核心技术栈讲解
m0_67698950的博客
07-20 521
接下来会问实践上的经验，如做过的项目、生产应用的全过程、数据量有多大、性能遇到问题怎么调优解决的等等……我曾经意识到这个问题后，在网上搜索了大量的学习资料和书籍，虽然也有收获，但没有系统的操作过，连基本的思维逻辑、整个架构设计无从下手，根本解决不了这个问题。其中包括需求、分析、架构设计、模型设计、技术选型、开发流程、开发规范、测试过程、部署监控、项目调优等，真实地还原了实际企业的工作场景。面试进展到这一阶段，就会难倒一大批人，对于有工作经验的人，面试官会更看重你在项目中承担的角色，遇到问题的解决方法等。..
Hadoop生态圈技术栈(上)---hive
BetterKunPeng的博客
03-04 1067
第一部分 Hive安装与配置 第 1 节 Hive安装配置 Hive官网：http://hive.apache.org 下载网址：http://archive.apache.org/dist/hive/ 文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual 安装前提：3台虚拟机，安装了Hadoop 安装软件：Hive(2.3.7) + MySQL (5.7.26) 备注：Hive的元数据默认存储在自带的 derby 数
大数据技术栈——Hadoop概述
入门程序猿的博客
08-17 3964
大数据技术栈——Hadoop概述引例MapReduceHDFSHadoopHBaseHivePigCassandraChukwaZooKeeper 引例 Hadoop是专为离线和大规模数据分析而设计的，上图Hadoop整体技术框架描述。（为了方便学习，会先介绍Map Reduce与HDFS） MapReduce MapReduce是Google提出的大规模并行计算解决方案，应用于大规模廉价集群上的大数据并行处理（Map Reduce1.0运行模型如下）。 MapReduce以key/value的分布式存
分享一张Hadoop技术栈大图
微信搜：import_bigdata，大数据领域硬核原创作者
04-14 546
如下，画这么一张图，不容易。大家可以把图合并到自己的总结中去。 ...
Hadoop技术栈之Apache Hadoop概述
黑马程序员官方博客
08-02 738
Hadoop介绍、发展简史、现状。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值