前言：大数据

1 大数据的概念和特征

--1. 概念：
    海量数据，数据种类多样化，增长速度块，无法使用常规分析管理工具进行管理的数据集合
--2. 特征(4V)
    1. Volume:巨大的数据量                
    2. Variety:数据类型多样化
    --:结构化的数据
        即有固定格式和有限长度的数据。比如ROBMS中的表数据
    --:半结构化的数据
        有一定结构，但是数据之间的结构可能不一样，是一些XML或者HTML的格式的数据。
    --:非结构化的数据
        现在非结构化的数据越来越多，就是不定长、无固定格式的数据，例如网页、语音，视频、图片等。
    3. Velocity: 数据增长速度快
    4. Value:价值密度低

2、大数据的应用前景

--1.应用案例
    - 预测犯罪
    - 预测流感的爆发
    - 预测选举
    - 根据手机定位和交通数据，规划城市
    - 根据库存和需求，实时调价
    - 推动医疗信息化发展，远程医疗
--2.发展前景
    1)大数据本身的价值体现
    2)大数据推动了科技领域的发展
    3)大数据产业链的形成
    4)国家大力扶持大数据行业的发展

3、大数据的工作流程

1. 数据采集 ： sqoop，flume,datax,kettle
           数据源----->采集工具------>存储系统
2. 数据存储：
           hdfs，hbase,es等（大数据集的存储）
3. 数据清洗：（去重，去脏）
           mapreduce,spark,hive
4. 数据分析：    
          mapreduce,spark,hive  （分析后的数据可能存储到hdfs上，也可能存储mysql等关系型数据库中）
5. 数据展示          
          BI，webUI界面