大数据概述(1.1)

一、为什么要有大数据

主要解决：海量数据的存储和分析计算

二、大数据的特点

大数据有4大特点，4V:

• 数据量大Volume：企业能达到EB（1024TP）
• 增长速度高速velocity
• 多样化variety：结构化（业务数据）和非结构化（网络日志，音视频、图片、地理位置信息）
• 低价值密度value：提纯是难题

三、应用场景

• 1、物流仓储：精细化运营、提升销量、节约成本；JD仓库
• 2、零售：分析消费习惯，提高销量。啤酒和纸尿裤的案例
• 3、旅游：分析人流量和精准营销
• 4、电商：推荐商品
• 5、金融：风控评分
• 6、人工智能；机器人，自动驾驶，alphago

四、大致业务流程

产品提出需求（粗化指标）—>数据分析师分析数据指标、搭建平台—>数据可视化（报表，邮件，大屏）

五、部门组织

1、平台组：
Hadoop、spark等框架搭建；性能监控；集群平台性能调优
2、数据仓库组
ETL工程师-数据清洗；数据仓库工程师-数据分析、建模
3、数据挖掘组
算法工程师；推荐系统工程师；用户画像工程师
4、数据应用组
报表-javaEE工程师