总内容
一数据科学简介:
(1)大数据的“5V”特点
1) Volume(体量):数据量大,包括采集、存储和计算的量都非常大。
2) Variety(多样性):种类和来源多样化。
3) Value(价值):数据价值密度相对较低。
4) Velocity(时效性):数据增长速度快,处理速度也快,时效性要求高。
5) Veracity(准确性):数据的准确性和可信赖度,即数据的质量。
(2)数据科学的概念:数据科学是关于对数据进行分析、抽取信息和知识的过程提供指导和支持的基本原则和方法的科学
数据科学的核心任务是:数据中提取信息、发现知识;
(3)基本原则:
1,相关性不同于因果关系 相关性:有雷可能有电,是相关但没因果. A发生导致B发生这是因果
2,
(4)大数据产生的两基础: 计算机技术发展是技术基础 互联网和物联网的发展是数据基础
二数据改写
有内容:
:
1.数据科学过程: 数据获取 数据改写 数据分析 数据可视化
2.Pamdas
(1) pandas 是基于Numpy的一种工具,为解决数据分析任务创建,纳入标准的数据模型,能快速便捷德处理数据的函数和方法