Hadoop学习

东少子鹏

已于 2024-06-23 21:14:44 修改

阅读量740

点赞数 13

分类专栏：大数据学习文章标签： hadoop

于 2024-06-20 09:38:58 首次发布

本文链接：https://blog.csdn.net/m0_74957207/article/details/139819622

版权

大数据学习专栏收录该内容

14 篇文章 0 订阅

订阅专栏

Hadoop

Hadoop在企业中的应用架构

Apache Hadoop 版本分为两代，我们将第一代 Hadoop 称为 Hadoop 1.0 ，第二代 Hadoop 称为 Hadoop 2.0 。

第一代 Hadoop 包含三个大版本，分别是 0.20.x ， 0.21.x 和 0.22.x ，其中， 0.20.x 最后演化成 1.0.x ，变成了稳定版，而 0.21.x 和 0.22.x 则增加了 NameNode HA 等新的重大特性。

第二代 Hadoop 包含两个版本，分别是 0.23.x 和 2.x ，它们完全不同于 Hadoop 1.0 ，是一套全新的架构，均包含 HDFS Federation 和 YARN 两个系统，相比于 0.23.x ， 2.x 增加了 NameNode HA 和 Wire-compatibility 两个重大特性。

选择 Hadoop版本的考虑因素：

• 是否开源（即是否免费）

• 是否有稳定版

• 是否经实践检验

• 是否有强大的社区支持

Hadoop各种版本

Hadoop项目结构

Hadoop的项目结构不断丰富发展，已经形成一个丰富的Hadoop生态系统

组件	功能
HDFS	分布式文件系统
MapReduce	分布式并行编程模型
YARN	资源管理和调度器
Tez	运行在YARN之上的下一代Hadoop查询处理框架
Hive	Hadoop上的数据仓库
HBase	Hadoop上的非关系型的分布式数据库
Pig	一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin
Sqoop	用于在Hadoop与传统数据库之间进行数据传递
Oozie	Hadoop上的工作流管理系统
Zookeeper	提供分布式协调一致性服务
Storm	流计算框架
Flume	一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
Ambari	Hadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控
Kafka	一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据
Spark	类似于Hadoop MapReduce的通用并行框架

Hadoop安装之前的预备知识

关于Linux的一些基础知识

Shell：是指“提供使用者使用界面”的软件（命令解析器），类似于DOS下的command和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序。

sudo命令：sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码。

输入密码：Linux的终端中输入密码，终端是不会显示任何当前输入的密码，也不会提示已经输入了多少字符密码，不要误以为键盘没有响应

输入法中英文切换：linux中英文的切换方式是使用键盘“shift”键来切换，也可以点击顶部菜单的输入法按钮进行切换。Ubuntu自带的Sunpinyin中文输入法已经足够读者使用

Ubuntu终端复制粘贴快捷键：在Ubuntu终端窗口中，复制粘贴的快捷键需要加上 shift，即粘贴是 ctrl+shift+v

SSH是什么？

SSH 为 Secure Shell 的缩写，是建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠、专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。 SSH是由客户端和服务端的软件组成，服务端是一个守护进程(daemon)，它在后台运行并响应来自客户端的连接请求，客户端包含ssh程序以及像scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的应用程序。