01大数据简介（Python＋大数据）

1.大数据定义

大数据Bigdata，是指无法在时间范围内用常规软件进行捕捉、管理、处理的数据集合，因此需要新处理模式，该模式就是大数据

2.大数据处理的数据量有多大？

单位 等价关系

1Byte 8bit

1M 1024K

1G 1024M

1T 1024G6

1P 1024T

......

3.大数据能解决什么问题

①存储问题

②计算问题

4.大数据的特点

①大

数据体量大

全球35ZB（2020）

百度 74PB、8PB

阿里：60PB，7.2PB

腾讯：100PB、4PB

②多

种类和来源多样化

种类：结构化（文字、数字）、非结构化（图片、音频、视频）、半结构化（JSON）

来源：日志、视频、音频

③值

低价值密度

客户量：1000万

最有潜力客户：10位

④快

数据增长速度快处理速度也快

获取数据的速度也要快

⑤信

数据的质量

数据的准确信

数据的可信赖度

5.大数据分析的业务步骤

①明确数据分析的目的和思路（搞清楚数据来源，需要通过数据去做什么？）

②数据收集（收集数据，读数据）

③数据处理：提取、清洗、转化、加载（对数据进行处理，过滤一些不需要的数据）

④数据分析统计：建模、挖掘（根据需求分析出结果，对结果进行存储）

⑤数据可视化（将结果放入一个数据库）

⑥报告撰写（得出结论）