1、Hadoop3.x 从入门到放弃，第一章：概念

Hadoop3.x从入门到放弃，第一章：概念

一、什么是大数据

1、主要解决什么

大数据主要解决：海量数据的“采集”、“存储” 和 "分析计算" 问题

2、大数据特点

1> Volume 大量
2> velocity 高速
3> variety 多样性
     数据分为"结构化数据" 和 "非结构化数据"。结构化数据：数据库/文本为主的数据; 
     非结构化数据:网络日志、音频、视频、图像、地理位置信息等等
4> value 低价值密度
     如何快速对有价值的数据“提纯”成为目前大数据北京下待解决的难题

3、应用场景

一、金融行业
在金融行业，大数据广泛利用，典型例子如利用客户的点击数据集来给客户量身定制服务等。

二、医疗行业
医疗行业坐拥大量的病例、病理报告、医疗方案、药物报告等。对这些数据进行有效的整理和分析，将会给医生和病人带来极大的帮助。在未来，借助大数据平台，
医疗行业可以更系统、更完全地搜集疾病的基本特点、患者病历和医治方案等，建立起来针对各种疾病的数据库，最大限度地帮助医生进行疾病诊断。

三、农牧行业
农牧产品最大的困难就是不容易保存，因此公道地管控种植和养殖农牧产品对农、牧民来讲非常重要。ZF可以借助大数据提供的消费能力和趋势报告，
来为农牧行业生产进行公道引导，根据需求最大化进行生产，以避免产能多余而造成资源和社会财富的浪费。借助大数据技术支持，可以实现农业的精细化
管理和科学决策。具体操作：在大数据技术驱动下，结合无人机技术，农民就可以够全面、快速地搜集农产品生长和病虫害等信息。

四、零售行业
大数据在零售行业的租用主要体现在：零售行业可以通过往客户的购买记录，了解客户们的购买喜好，从而将客户喜欢的，相干的产品放到1起来增加产品销售额。

五、制造业
利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程；

六、汽车行业
利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活；

七、互联网行业
借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放；

八、电信行业
利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施；

九、能源行业
随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，
合理设计电力需求响应系统，确保电网运行安全；

十、物流行业
利用大数据优化物流网络，提高物流效率，降低物流成本；

十一、城市管理
可以利用大数据实现智能交通、环保监测、城市规划和智能安防；

十二、体育娱乐
大数据可以帮助我们训练球队，决定投拍哪种题材的影视作品，以及预测比赛结果；

二、大数据技术生态体系

三、Hadoop各版本组成

四、Hadoop概述

1、HDFS

2、YARN

3、MapReduce

4、三者关系