大数据概述

目录

一、大数据时代

二、大数据的特性（4V）

三、大数据的影响

四、大数据应用场景

五、大数据部门内组织结构

六、云计算与物联网

---

一、大数据时代

1. 大数据时代
   1. 三次信息化浪潮：个人计算机80年-互联网95年-物联网、云计算和大数据(2010年)
   2. 大数据人才
      1. 培训出来的：Java-》大数据
         优点：对于大数据技术的细节会比较清楚
         缺点：缺乏业务，即数据建模能力的缺失（难点：数据模型&数据建模，要求对业务比较了解）
      2. 转型：Java-大数据》
         优点：业务强，对业务熟悉，对数据熟悉；熟悉公司或者业务运转大数据的架构、框架。
         缺点：一般不会一些很细的技术
   3. 大数据技术发展的技术支持：
      1. 总的来说：存储、计算、网络
      2. 存储设备的容量不断增加
      3. CPU处理能力大幅提升
      4. 网络带宽不断增加
         10：2G->3G
         10-11：光进铜退
   4. 大数据时代来临
      1. 业务数据(数据库)-》用户原创内容(智能手机)-》物联网(感知式系统)
      2. 谷歌公司03年发布的三篇文章GFS、MapReduce和BigTable成为后来云计算和Hadoop项目的重要基石
      3. 手机自带的应用：每一个应用后面都有一个大数据方案解决平台->(作用)数据驱动决策

二、大数据的特性（4V）

1. 大数据的“5V”特征：Volume（大容量）、Velocity（高速率）、Variety（多样性，非结构化数据）、Value（价值密度低）、Veracity（真实性）
   1. 海量数据规模
      1. 分布式存储
         关系型数据库->结构化数据，但大数据还包括非结构化数据，所以会有分布式文件存储