竞赛打卡：糖尿病遗传风险检测挑战赛

竞赛打卡：糖尿病遗传风险检测挑战赛

本博客是竞赛学习打卡记录博客。学习地址Coggle七月学习打卡。就是记录在竞赛学习过程中的打卡内容（有可能不会按照内容全部进行打卡，时间可能不是很够😂）

学习内容

本教程主要是针对糖尿病遗传风险检测挑战赛开展，将讲解数据比赛中具体使用的知识点和细节。 在本次学习中我们将学习特征工程、特征筛选和模型调参过程。
赛题地址：比赛地址

赛题介绍

在这次比赛中，您需要通过训练数据集构建糖尿病遗传风险预测模型，然后预测出测试数据集中个体是否患有糖尿病，和我们一起帮助糖尿病患者解决这“甜蜜的烦恼”。对于测试数据集当中的个体，您必须预测其是否患有糖尿病（患有糖尿病：1，未患有糖尿病：0），预测值只能是整数1或者0。

训练集（比赛训练集.csv）一共有5070条数据，用于构建您的预测模型（您可能需要先进行数据分析）。数据的字段有编号、性别、出生年份、体重指数、糖尿病家族史、舒张压、口服耐糖量测试、胰岛素释放实验、肱三头肌皮褶厚度、患有糖尿病标识（最后一列），您也可以通过特征工程技术构建新的特征。

测试集（比赛测试集.csv）一共有1000条数据，用于验证预测模型的性能。数据的字段有编号、性别、出生年份、体重指数、糖尿病家族史、舒张压、口服耐糖量测试、胰岛素释放实验、肱三头肌皮褶厚度。

0708更新

任务1：报名比赛

步骤1：报名比赛

进入竞赛地址，点击报名即可。

步骤2：下载比赛数据（点击比赛页面的赛题数据）

报名完成后，就可以进行数据集的下载了

步骤3：解压比赛数据，并使用pandas进行读取；

这个比较简单，直接使用pandas读就行了

import numpy as np
import pandas as pd

train_df = pd.read_csv('data/1/比赛训练集.csv', encoding='gbk')
test_df = pd.read_csv('data/1/比赛测试集.csv', encoding='gbk')

print(train_df)

print(test_df)

步骤4：查看训练集和测试集字段类型

使用DataFrame的info()函数来查看数据集的字段类型

print(train_df.info())
print(test_df.info())

任务2：比赛数据分析

步骤1：统计字段的缺失值，计算缺失比例

缺失值可以用DataFrame里的isnull（）来查看，在后面再调用sum()或者mean()可以得到总和以及平均。这里我们想看两个数据集的比例关系，所以mean相对合理一些（因为行数即数据样本数不同）

train_df.isnull().sum() # 这里不方便对比train和test的分布情况，因为总的行数不同，所以建议使用mean()

print(train_df.isnull().mean(0))
print(test_df.isnull().mean(0))

可以看到只有一列（舒张压）有缺失值。

步骤2：分析字段的类型

字段类型可以用任务1 的info来查看（可以通过查看Dtype来判断数据类型）；还可以进一步用describe()来查看数值列的mean、max等信息。

print(train_df.info())
print(test_df.info())


print(train_df.describe())
print(test_df.describe())

步骤3：计算字段相关性

计算相关性可以用corr()来计算；可视化我一般使用sns.heatmap（）；当然也可以用打卡内容汇总里面提示的那几个图像

## 1) 相关性分析
price_numeric = train_df.copy()
correlation = price_numeric.corr()
print(correlation['患有糖尿病标识'].sort_values(ascending = False),'\n')

import matplotlib.pyplot as plt
import seaborn as sns

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

f , ax = plt.subplots(figsize = (7, 7))

plt.title('数据与是否患病的Correlation',y=1,size=16)

sns.heatmap(correlation,square = True,  vmax=0.8)

这样就比较清晰得看出数值列和是否患病 的相关性（这里有一列非数值没考虑，可以尝试将其独热编码后再进行相关性分析）

也可以用打卡汇总中提示的这几个图（记得分开，不然画到一起，就不知道要怎么看了。。。）

# train_df['性别'].value_counts().plot(kind='barh')

sns.countplot(x='患有糖尿病标识', hue='性别', data=train_df) # 条形图

# sns.boxplot(y='出生年份', x='患有糖尿病标识', hue='性别', data=train_df) #箱线图

# sns.violinplot(y='体重指数', x='患有糖尿病标识', hue='性别', data=train_df)

0708 end

今天先打卡前两个任务。