Hadoop入门

#大数据实训第一天总结#

关于大数据

1. 什么是数据？

人类的行为及产生的事件的一种记录称之为数据

2. 数据有什么价值？

• 对数据的内容进行深入分析，可以更好的帮助了解事和物在现实世

界的运行规律

• 比如，购物的订单记录（数据）可以帮助平台更好的了解消费者，

从而促进交易。

大数据时代

当下时代已经是数据的时代，数据非常重要并且蕴含巨大的价值。

大数据的诞生是跟随着互联网的发展的

• 当全球互联网逐步建成（2000年左右），各大企业或政府单位拥有

了 海量的数据亟待处理 。

• 基于这个前提逐步诞生了以 分布式 的形式（即多台服务器集群）完

成海量数据处理的处理方式，并逐步发展成现代大数据体系。

2. Apache Hadoop对大数据体系的意义

• 第一款获得业界普遍认可的开源分布式解决方案

• 让各类企业都有可用的企业级开源分布式解决方案

• 一定程度上催生出了众多的大数据体系技术栈

• 从Hadoop开始（2008年左右）大数据开始蓬勃发展

大数据的特征

5V特性

 

 大数据的核心工作

• 存储：妥善保存海量待处理数据

• 计算：完成海量数据的价值挖掘

• 传输：协助各个环节的数据传输

大数据业务流程

Hadoop入门

◆ 分布式系统和集群

分布式和集群区别?

分布式 ：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事

集群：集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事

Hadoop是哪种分布式架构模式？

主从模式（中心化模式）的架构

◆ Hadoop框架概论

Hadoop是Apache软件基金会下的顶级开源项目，用以提供：

• 分布式数据存储

• 分布式数据计算

• 分布式资源调度

为一体的整体解决方案。

⚫ Hadoop架构模块

⚫ Hadoop2.x架构内部模型-HDFS和Yarn

Hadoop集群搭建

⚫ 集群搭建方式

⚫ Standalone mode （单机模式）

单机模式， 1 个机器上运行 HDFS 的 NameNode 和 DataNode 、 YARN的 ResourceManger NodeManager ，主要用于学习和调试。

⚫ Cluster mode （集群模式）

集群模式主要用于生产环境部署。会使用 N 台主机组成一个 Hadoop 集群。这种部署模式下，主节点和从节点会分开部署

在不同的机器上。