1.Hadoop入门

大数据概念

大数据:指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据主要解决:海量数据的采集、存储和分析计算问题。

大数据特点

1.volume(大量)
2.Velocity(高速)
3.Variety(多样)
4.Value(低价值密度)

大数据的应用场景

1.抖音：推荐的都是你喜欢的视频
2.电商站内广告推荐：给用户推荐可能喜欢的商品
3.零售：分析用户消费习惯，为用户购买商品提供方便，从而提升销售量。经典案例，纸尿裤+啤酒
4.物流仓储：京东物流，上午下单下午送达、下午下单次日上午送达
5.保险：海量数据挖掘及风险预测，助力保险行业精准营销，提升精细化定价能力
6.金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险
7.房产：大数据全面助力房地产行业，打造精准投策与营销，选出更适合的地，建造更适合的楼，卖给更适合的人
8.人工智能 + 5G + 物联网 + 虚拟与现实

大数据的发展前景

1.党的十九大提出“推动互联网、大数据、人工智能和实体经济深度融合”
2.2020年初，中央退出34万亿“新基建”投资计划
3.下一个风口（5G）
4.人才紧缺、竞争压力小
5.Boss直聘网站上的部分大数据工程师薪水还不错

大数据部门间业务流程分析

产品人员提需求 --> 数据部门搭建数据平台、分析数据指标 --> 数据可视化

大数据部门内部组织结构

Hadoop

一、Hadoop是什么

1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构
2.主要解决，海量数据的存储和海量数据的分析计算问题
3.广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

二、Hadoop发展历史

1.Hadoop创始人Doug Cutting，为实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查询引擎和搜索引擎
2.2001年底Lucene成为Apache基金会的一个子项目
3.对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索速度慢
4.学习和模仿Google解决这些问题的办法：微型版Nutch
5.可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）
    GFS —> HDFS
    Map-Reduce —> MR
    BigTable —> HBase
6.2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升
7.2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会
8.2006年3月份，Map-Reduce和Nutch Distribution File System（NDFS）分别被纳入到Hadoop项目中，Hadoop就此正式诞生，标志着大数据时代来临
9.名字源于Doug Cutting儿子的玩具大象

三、Hadoop三大发行版本

Apache版本最原始（最基础）的版本，对于入门学习最好。2006
Cloudera内部集成了很多大数据框架，对应产品CDH。2008
Hortonworks文档较好，对应产品HDP。2011
Hortonworks现在已经被Cloudera公司收购，退出新的品牌CDP。2018

四、Hadoop优势

1.高可靠性
2.高扩展性
3.高效性
4.高容错性

五、Hadoop的组成

Hadoop1.x组成：Common（辅助工具）、HDFS（数据存储）、MapReduce（计算+资源调度）
Hadoop2.x组成：Common（辅助工具）、HDFS（数据存储）、MapReduce（计算）、Yarn（资源调度）
Hadoop3.x组成同Hadoop2.x

HDFS架构概述

1.NameNode（nn）:存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等
2.DataNode（dn）：本地文件系统存储文件块数据，以及块数据的校验和
3.Secondary NameNode（2nn）：每个一段时间对NameNode元数据备份

Yarn架构概述

ResourceManager（RM）：管理整个集群资源（内存、cpu等）
NodeManager（NM）：管理单个节点服务器资源
ApplicationMaster（AM）：管理单个任务运行
Container：容器，相当于一台独立的服务器，里面封装了任务运行所需的资源，如内存、cpu、磁盘、网络等

说明1：客户端可以有多个
说明2：集群上可以运行多个ApplicationMaster
说明3：每个NodeManager上可以有多个Container

MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce
1.Map阶段并行处理输入数据
2.Reduce阶段对Map结果进行汇总

HDFS、Yarn、MapReduce三者关系

HDFS：管理存储的数据，Yarn：负责分配资源，MapReduce：搜索资源（计算）

六、大数据技术生态体系

七、推荐系统项目框架