数据科学导论复习

CMCJR

已于 2022-06-27 20:58:16 修改

阅读量2.4k

点赞数 19

分类专栏：数据科学导论文章标签： python 大数据数据挖掘

于 2022-06-24 19:03:26 首次发布

本文链接：https://blog.csdn.net/weixin_52135318/article/details/123658981

版权

数据科学导论专栏收录该内容

4 篇文章 1 订阅

订阅专栏

文章目录

第一章绪论
第二章问题与目标
- 2.1 用户层面的问题与目标
- 2.2 数据科学层面的问题与目标
第三章数据获取
第四章 Python基础
第五章探索性数据分析
第六章建模与性能评价
第七章结果展示
- 7.1 面向不同对象的结果展示
- 7.2 数据可视化

第一章绪论

[基本内容]

1.1 为什么要研究/学习数据科学

1.2 数据科学的基本概念

维基百科——应用科学的方法、流程、算法和系统从多种形式的结构化或非结构化数据中提取知识和洞见的交叉学科
在这里插入图片描述

1.3 数据科学基本流程和数据流

在这里插入图片描述

[基本要求]
1.掌握：数据科学的基本概念
2.理解：数据科学基本流程和数据流
3.了解：学习/研究数据科学的目的与意义

第二章问题与目标

[基本内容]

2.1 用户层面的问题与目标

2.2 数据科学层面的问题与目标

在这里插入图片描述

[基本要求]
1.掌握：用户层面与数据科学层面的问题与目标分别怎么确定
2.理解：数据科学的问题与目标的含义

第三章数据获取

[基本内容]

3.1 前提假设与数据方案设计

3.2 总体与抽样

样本的两个必要条件：

容量不能太小(>30)
无偏抽样(抽样的过程不受个体性质的影响)

3.3混杂因素和 A/B Testing

辛普森悖论
现象描述： 每个分组里面A的优势都明显，但是总体上B的优势更大。
原因： 混杂因素
就是说，有些因素会对分组的总体造成影响，但是必须认识到这一点，只要适当剔除就可以了。
在这里插入图片描述

[基本要求]
1.掌握：数据获取的常用方法
2.理解：前提假设与数据方案设计、总体与抽样、混杂因素和 A/B Testing 的含义

第四章 Python基础

numpy.ndarray 的内存方式优于列表，通常适用于类型一致的数据，支持向量运算

DataFrame基础知识具体参考DataFrame的使用方法

reshape方法可以重塑数组的维度 reshape()函数详解

#例4-4-9
import pandas as pd
import numpy as np
my_dataframe=pd.DataFrame(np.random.randn(4,5),index=['a','b','c','d'],columns=['A','B','C','D','E'])

my_dataframe[['B','C']]  
my_dataframe[['B']]  #指定访问列2，返回值有列标题，返回值仍是dataframe
my_dataframe['B']    #指定访问列3，返回值无列标题，返回值是序列series
my_dataframe.iloc[1]  #指定访问行1，指定行号
my_dataframe.loc['b']  #指定访问行2，指定行索引

第五章探索性数据分析

[基本内容]

5.1数据检查

print(my_data.info())  #datdaframe的info方法可以返回对数据的一些总结
x = my_data.groupby(['Pclass'])   #groupby分类获取数据

5.2数据预处理

缺失处理

data.head(10)   #显示数据前10行,不填默认为5

data.isnull()  #检测数据缺失值,返回True或False(缺失)
data.isnull().sum()  #统计缺失值

缺失值丢弃

data.dropna(axis=0)  #行丢弃  (丢弃包含NaN的数据)
data.dropna(axis=1)  #列丢弃

缺失值填充

#字典填充
mean_Age = int(my_data[['Age']].mean()[0])  #取平均年龄
my_dict = {'Age':mean_Age,'Cabin':'haha'}
data1 = data.fillna(my_dict)

#邻近值填充
data2 = data.fillna(method = 'ffill')
#参数method = 'ffill'  缺失值之前最有效的邻近值来填充
#method = 'bfill'  缺失值之后最有效的邻近值来填充

异常处理

冗余处理

data.duplicated()  #duplicated()函数判断是否有重复行,返回true或false
data1 = data.drop_duplicates()  #drop_duplicates()函数直接删除重复行

线性相关分析： Dataframe.corr（method=’pearson’）求线性相关系数，当其接近1或-1，则说明两个数据存在强的线性相关或反相关，有较大冗余；等于0，则没有线性相关。

data.corr(method = 'person')

corr函数详细说明

5.3 描述性统计

位置性测度

#例5-3-3 Pandas数据框求位置性测度举例
import pandas as pd
import numpy as np
data = pd.read_csv("Titanic.csv")
print('对Fare的位置性测度统计结果:')
print('均值: ',        data[['Fare']].mean()[0])
print('中位数: ',      data[['Fare']].median()[0])
print('第25百分位数:', data[['Fare']].quantile(q = 0.25)[0])
print('众数: ',        data[['Fare']].mode().values[0,0])
#mean(),median(),quantile()返回的都是Pandas的series的序列结构,直接用[0]访问
# mode()返回的是DataFrame的结构,所以用二维数组[0,0]的方式来访问

离散型测度

print('对Fare的离散性测度统计结果:')
print('变化范围: [',data[['Fare']].min()[0],'\t',data[['Fare']].max()[0], ']')
print('极差:    ',data[['Fare']].max()[0] - data[['Fare']].min()[0])
print('方差:    ',data[['Fare']].var()[0])
print('标准差:  ',data[['Fare']].std()[0])
print('变异系数:',data[['Fare']].std()[0] / data[['Fare']].mean()[0])

图形化描述性统计

直方图

data[['Fare']].hist(bins=40,figsize=(18,5),xlabelsize=16,ylabelsize=16)

直方图详细用法

箱型图

data[['Fare']].boxplot()

箱型图详细用法

散点图

scatterplot = pd.plotting.scatter_matrix(data,alpha = 0.3,figsize = (10,10),
                                    diagonal = 'hist',color = colors,marker ='o',grid=True)
# alpha表示透明度
# diagonal = "hist" 选择显示对应特征的直方图
# color =   可以设置颜色
# marker ='o'  散点图案
# grid=True   显示坐标线