大数据概论

大数据概论（尚硅谷学习总结01）

大数据（Big Data）：

指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据4V特性

1、Volume（大量）

2、Velocity（高速）

3、Variety（多样）

结构化数据和非结构化数据。
结构化数据；数据库和表格文档。非结构化：视音频，照片等

4、Value（低价值密度）

我们获取的数据大多数为脏数据。一般数据量越大，数据价值密度越低。

大数据应用场景

• 抖音推荐系统
• 电商推荐系统
• 零售中的用户分析
• 物流仓库
• 人工智能
• ……

大数据发展前景

大数据流程

• 提出需求
• 数据平台搭建：包括数据仓库，数据获取，数据清洗和数据分析等
• 数据可视化

大数据部门内组织结构