大数据_01【介绍】

01 什么是大数据

指数据集的大小超过了现有典型数据库软件和工具的处理能力的数据

02 大数据特点

**

1. 海量化 数据量从TB到PB 多样化
2. 数据类型复杂，超过百分之八十是非结构化的[结构化数据 半结构化数据 完全非结构化数据]
3. 快速化 数据量在持续增加(两位数的增长率) ，数据处理速度要求高
4. 高价值 在海量多样数据的快速分析下能发挥出更高的数据价值

**

03 大数据能做什么【海量数据背景下】

1. 快速查询 全量查询
2. 数据存储 量大 文件大
3. 快速计算 对边传统方式 【属于离线计算】
4. 实时计算 最新数据
5. 数据挖掘 新价值

04 大数据行业的应用

1. 电信
2. 零售
3. 金融服务
4. 制造
5. 医疗
6. 物联网
7. 智慧城市

05 大数据发展前景

1. 党的十八届五中全会提出“实施国家大数据战略”，国务院印发《促进大数据发展行动纲要》，大 数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。
2. 国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元。目前，我国大数据人才只有46万，未来3到5年人才缺口达150万之多
3. 2017年北京大学、中国人民大学、北京邮电大学等25所高校成功申请开设大数据课程。 大数据属于高新技术，大牛少，升职竞争小；
4. 在北京大数据开发工程师的平均薪水已经到17800元（数据统计来职友集），而且目前还保持强劲的发展势头。

06 大数据部门组织结构

平台组	数据仓库组
Hadoop、Flume、Kafka、Storm、spark等框架平台搭建	ETL工程师-数据清洗
集群性能监控	Hive工程师-数据分析、数据仓库建模
集群平台性能调优	~

数据挖掘组	报表开发组
算法工程师	JavaEE工程师
推荐系统工程师	~
用户画像工程师	~

07 大数据项目流程

1. 数据生产
2. 数据采集
3. 数据存储
4. 需求分析
5. 数据预处理
6. 数据计算
7. 结果数据存储
8. 结果数据展现

生-集-存-析 预-计-存-现