数据科学导论——数据预处理进阶

第1关：数据归约
任务描述
相关知识
数据归约策略
数据立方体聚集与维归约
数据压缩与数值归约
编程要求
测试说明
任务描述
本关任务：使用直方图展示不同年龄的发病次数。

相关知识
数据仓库中往往存有海量数据，在其上进行复杂的数据分析与挖掘需要很长的时间，数据归约可以用来得到数据集的归约表示，它小得多，但可以产生相同的（或几乎相同的）分析结果。

数据归约策略
数据归约策略：

数据立方体聚集；

维归约；

数据压缩；

数值归约；

离散化和概念分层产生。

用于数据归约的时间不应当超过或“抵消”在归约后的数据上挖掘节省的时间。

数据立方体聚集与维归约
数据立方体聚集
最底层的方体对应于基本方体，基本方体对应于感兴趣的实体。在数据立方体中存在着不同级别的汇总，数据立方体可以看成方体的格，每个较高层次的抽象将进一步减少结果数据。

数据立方体提供了对预计算汇总数据的快速访问，使用与给定任务相关的最小方体，在可能的情况下，对于汇总数据的查询应当使用数据立方体。

维归约
通过删除不相干的属性或减少数据量。属性子集选择，找出最小属性集，使得数据类的概率分布尽可能的接近使用所有属性的原分布，减少出现在发现模式上的属性的数目，使得模式更易于理解。

启发式的（探索性的）方法：

逐步向前选择；

逐步向后删除；

向前选择和向后删除相结合；

判定归纳树。

数据压缩与数值归约
数据压缩
数据压缩可分为有损压缩和无损压缩。

字符串压缩有广泛的理论基础和精妙的算法，通常是无损压缩，在解压缩前对字符串的操作非常有限。

音频/视频压缩，通常是有损压缩，压缩精度可以递进选择，有时可以在不解压整体数据的情况下，重构某个片断。

两种有损数据压缩的方法：小波变换和主要成分分析。

数值归约
通过选择替代的、较小的数据表示形式来减少数据量。

① 有参方法：使用一个参数模型估计数据，最后只要存储参数即可。

② 线性回归方法：Y=α+βX

多元回归：线性回归的扩充；

对数线性模型：近似离散的多维数据概率分布。

③ 无参方法：

直方图；

聚类；

选样。

编程要求
请仔细阅读右侧代码，结合相关知识，在 Begin-End 区域内进行代码补充，使用数值规约的无参方法中的直方图展示不同年龄的发病次数。

图片生产要求如下：

设置图片大小 figsize=(10,10)；

图形保存到 Task1/img/T1.png。

测试说明
平台会对你编写的代码进行测试：

图片预期输出如下：

开始你的任务吧，祝你成功！

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
def student():
    train = pd.read_csv('Task1/diabetes_null.csv', na_values=['#NAME?'])
    train['Insulin'] = train['Insulin'].fillna(100)
    train['SkinThickness'] = train['SkinThickness'].fillna(train['SkinThickness'].median())
    train['BloodPressure'] = train['BloodPressure'].fillna(train['BloodPressure'].median())
    train['BMI'] = train['BMI'].fillna(train['BMI'].mean())
    train['Glucose'] = train['Glucose'].fillna(train['Glucose'].mean())
    #********* Begin *********#
    plt.figure(figsize=(10,10))
    x=pd.Series(train['Age'])
    count=x.value_counts()
    count.plot(kind='bar')
    plt.savefig("Task1/img/T1.png")
    plt.show()



    #********* End *********#    

第2关：数据离散化

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
def student():
    train = pd.read_csv('Task1/diabetes_null.csv', na_values=['#NAME?']).dropna()
    #********* Begin *********#
    bin=[0,30,50,90]
    a=pd.cut(train["Age"],bin)
    print(pd.value_counts(a))



    #********* End *********#