Hadoop入门

1.大数据

大数据主要解决，海量数据的采集、存储和分析计算问题。
大数据特点：
Volume(大量)：
Velocity(高速)：在海量数据面前，处理数据的效率很重要
Variety(多样性)：数据可分为结构化数据(数据库/文本)和非结构化数据(音频、视频、图片)，这些多类型的数据对数据的处理能力提出了更高的要求。
Value(低价值密度)：海量数据中，更多的是一些低价值信息，所以要求我们能够快速对有价值的信息进行提纯。
应用场景：抖音里面的视频推荐、电商网站里面的广告推荐、人工智能

2.Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要用于海量数据的存储和分析计算。
Hadoop有三大发行版本：Apache(2016)、Cloudera(对应产品CDH,2008)、Hortonworks(对应产品HDP,2011)
Hortonworks现在被Cloudera公司收购，推出新产品CDP(需付费)。
Hadoop优势：
高可靠性：Hadoop底层维护多个数据副本
高扩展性：可在集群中动态增加或减少服务器
高效性：在MapReduce的思想下，Hadoop是并行工作的，能加快任务处理速度
高容错性：能够自动将失败的任务重新分配
Hadoop组成

3.HDFS(Hadoop Distributed File System)：一个分布式文件系统

4.Yarn(Yet Another Resource Negotiator)：是Hadoop的一个资源管理器

 5.MapReduce架构

6. 大数据技术生态体系