任务二 kaggle糖尿病检测

最新推荐文章于 2024-09-12 16:57:51 发布
最新推荐文章于 2024-09-12 16:57:51 发布
阅读量1.8k 收藏 39
点赞数 2
文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62309595/article/details/125909000
版权

目录

一、数据预处理

1.转换出Outcome这个字段

 2.describe()

3.查找缺失值

4.缺失值填补

二、特征分析

1.热力图分析Outcome与其他数据的相关性

2.探究preg和患病率的关系

3.探究plas与患病率的关系

 4.探究pres与患病率的关系

5.探究skin与患病率的关系

6.探究insu与患病率的关系

7.探究mass与患病率的关系

8.探究pedi和患病率的关系

9.探究age与患病率的关系

三、建模以及预测

一、数据预处理

1.转换出Outcome这个字段

把class中的b'tested_positive'和b'tested_negative'转换为Outcome中的1和0

并且drop掉class这个字段

diabetes_data['OutCome'] = diabetes_data['class'].map(lambda s: 1 if s == "b'tested_positive'" else 0)
diabetes_data.drop(labels = ["class"], axis = 1, inplace = True)

​​​​​​​Python之Lambda表达式和if not...else用法_全栈测试开发日记的博客-CSDN博客

 2.describe()

count      告诉我们特征中非空行的数量。
mean     告诉我们该特征的平均值。
std         告诉我们该特征的标准偏差值。
min        告诉我们该特征的最小值。
25%、50% 和 75% 是每个特征的百分位数/四分位数。 这个四分位信息有助于我们检测异常值。
max       告诉我们该特征的最大值。

print(diabetes_data.describe())

print(diabetes_data.describe().T)

 

3.查找缺失值

以下列或变量的零值无效：葡萄糖、血压、皮肤厚度、胰岛素、体重指数

把他们都改成NaN类型

diabetes_data_copy = diabetes_data.copy(deep = True)
diabetes_data_copy[['plas','pres','skin','insu','mass']] = diabetes_data_copy[['plas','pres','skin','insu','mass']].replace(0,np.NaN)

## showing the count of Nans
print(diabetes_data_copy.isnull().sum())

4.缺失值填补

mean_byOutcome('plas')
diabetes_data_copy.loc[(diabetes_data_copy['Outcome'] == 0) & (diabetes_data_copy['plas'].isnull()), 'plas'] = mean_byOutcome('plas')['plas'][0]
diabetes_data_copy.loc[(diabetes_data_copy['Outcome'] == 1) & (diabetes_data_copy['plas'].isnull()), 'plas'] = mean_byOutcome('plas')['plas'][1]

二、特征分析

1.热力图分析Outcome与其他数据的相关性

 从图中可以看出患病率跟plas（口服葡萄糖耐量试验中 2 小时的血浆葡萄糖浓度）相关性很大

跟pres（舒张压 ）和skin（三头肌皮褶厚度）的相关性较小

2.探究preg和患病率的关系

preg没有缺失值

 

 

可以看出当怀孕次数大于7次甚至更多时，患病的概率比较高。 

3.探究plas与患病率的关系

plas有5个缺失值 用了中值填补

#探究plas与患病率的关系 plas有5个缺失值 用了中值填补 跨度太大 采用histplot
diabetes_data_copy["plas"] = diabetes_data_copy["plas"].fillna(diabetes_data_copy["plas"].median())
print(diabetes_data_copy.isnull().sum())

g = sns.FacetGrid(diabetes_data_copy, col='Outcome')
g = g.map(sns.histplot, "plas")
plt.show()

跨度太大了 于是不用柱状图 改为hist图

当把两个图叠起来时，可以明显看出ples(口服葡萄糖耐量试验中 2 小时的血浆葡萄糖浓度)在一百以下的人患病率更低

 

 

 4.探究pres与患病率的关系

探究pres与患病率的关系 pres有35个缺失值 使用中值填补
也是因为跨度较大 采用histplot

#探究pres与患病率的关系 pres有35个缺失值 使用中值填补
diabetes_data_copy["pres"] = diabetes_data_copy["pres"].fillna(diabetes_data_copy["pres"].median())
print(diabetes_data_copy.isnull().sum())

g = sns.FacetGrid(diabetes_data_copy, col='Outcome')
g = g.map(sns.histplot, "pres")
plt.show()

g = sns.kdeplot(diabetes_data_copy["pres"][(diabetes_data_copy["Outcome"] == 0) & (diabetes_data_copy["pres"].notnull())], color="Red", shade = True)
g = sns.kdeplot(diabetes_data_copy["pres"][(diabetes_data_copy["Outcome"] == 1) & (diabetes_data_copy["pres"].notnull())], ax =g, color="Blue", shade= True)
g.set_xlabel("pres")
g.set_ylabel("prevalence rate")
g = g.legend(["Not ill","ill"])#注意这里的顺序和上面绘图的顺序保持一致
plt.show()

 

 可以看出pres跟患病率的相关性不大

5.探究skin与患病率的关系

skin的缺失值比较多

g = sns.heatmap(diabetes_data_copy[["preg","plas","pres","skin","insu","mass","pedi","age"]].corr(),annot=True, fmt = ".2f", cmap = "coolwarm")
plt.show()

 通过热力图可以看出skin和mass、pres、plas三种数据相关性较大

# Filling missing value of skin
index_NaN_age = list(diabetes_data_copy["skin"][diabetes_data_copy["skin"].isnull()].index)
#注意这里的空置表示方式:dataset['skin'][dataset.skin.isnull()].index,属性后面紧跟着一个[筛选条件].index,返回的是raw序号.
for i in index_NaN_age :
    skin_med = diabetes_data_copy["skin"].median()#非空skin 值的中位数
    skin_pred = diabetes_data_copy["skin"][((diabetes_data_copy['mass'] == diabetes_data_copy.iloc[i]["mass"]) & (diabetes_data_copy['pres'] == diabetes_data_copy.iloc[i]["pres"]) & (diabetes_data_copy['plas'] == diabetes_data_copy.iloc[i]["plas"]))].median()#在所有的记录中,寻找与Age为空值记录,SibSp\Parch\Pclass都想同的记录,例如有5条,取这5条记录中Age的中位数填充空的Age值
    if not np.isnan(skin_pred) :
        diabetes_data_copy['skin'].iloc[i] = skin_pred
    else :
        diabetes_data_copy['skin'].iloc[i] = skin_med
print(diabetes_data_copy.isnull().sum())

 

 在三头肌皮褶厚度20mm左右有一个不患病的高峰值

6.探究insu与患病率的关系

insu跟plas、mass、age相关性比较大

根据这三个值来填补mass的空缺值

 可以看出insu在150左右的地方存在不患病的峰值

#insu的缺失值比较多
g = sns.heatmap(diabetes_data_copy[["preg","plas","pres","skin","insu","mass","pedi","age"]].corr(),annot=True, fmt = ".2f", cmap = "coolwarm")
plt.show()

# Filling missing value of insu
index_NaN_age = list(diabetes_data_copy["insu"][diabetes_data_copy["insu"].isnull()].index)
#注意这里的空置表示方式:dataset['skin'][dataset.skin.isnull()].index,属性后面紧跟着一个[筛选条件].index,返回的是raw序号.
for i in index_NaN_age :
    insu_med = diabetes_data_copy["insu"].median()#非空skin 值的中位数
    insu_pred = diabetes_data_copy["insu"][((diabetes_data_copy['mass'] == diabetes_data_copy.iloc[i]["mass"]) & (diabetes_data_copy['plas'] == diabetes_data_copy.iloc[i]["plas"]) & (diabetes_data_copy['age'] == diabetes_data_copy.iloc[i]["age"]))].median()#在所有的记录中,寻找与Age为空值记录,SibSp\Parch\Pclass都想同的记录,例如有5条,取这5条记录中Age的中位数填充空的Age值
    if not np.isnan(insu_pred) :
        diabetes_data_copy['insu'].iloc[i] = insu_pred
    else :
        diabetes_data_copy['insu'].iloc[i] = insu_med
print(diabetes_data_copy.isnull().sum())

g = sns.kdeplot(diabetes_data_copy["insu"][(diabetes_data_copy["Outcome"] == 0) & (diabetes_data_copy["insu"].notnull())], color="Red", shade = True)
g = sns.kdeplot(diabetes_data_copy["insu"][(diabetes_data_copy["Outcome"] == 1) & (diabetes_data_copy["insu"].notnull())], ax =g, color="Blue", shade= True)
g.set_xlabel("insu")
g.set_ylabel("Frequency")
g = g.legend(["Not ill","ill"])#注意这里的顺序和上面绘图的顺序保持一致
plt.show()

7.探究mass与患病率的关系

中值填补 

mass在25以下时，患病率比较低，在35左右之后患病率高。

8.探究pedi和患病率的关系

没有缺失值 

 可以看出在0到0.5间有一个不患病的峰值

g = sns.kdeplot(diabetes_data_copy["pedi"][(diabetes_data_copy["Outcome"] == 0) & (diabetes_data_copy["pedi"].notnull())], color="Red", shade = True)
g = sns.kdeplot(diabetes_data_copy["pedi"][(diabetes_data_copy["Outcome"] == 1) & (diabetes_data_copy["pedi"].notnull())], ax =g, color="Blue", shade= True)
g.set_xlabel("pedi")
g.set_ylabel("Frequency")
g = g.legend(["Not ill","ill"])#注意这里的顺序和上面绘图的顺序保持一致
plt.show()

9.探究age与患病率的关系

 从图中可以得出结论，年龄越小越不容易患病

三、建模以及预测

因为泰坦尼克号的建模实在没怎么懂

所以参考了利用python机器学习库进行Kaggle皮马印第安人糖尿病预测分析_Gerard_mok的博客-CSDN博客

这一篇csdn来做

将数据集拆分为80%的训练集和20%的测试集。训练集有614条数据，用于训练模型。测试集有154条数据，用于模型结果预测。

print(diabetes_data_copy.Outcome.value_counts())
from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
source_x = pd.DataFrame(sc_X.fit_transform(diabetes_data_copy.drop(['Outcome'], axis = 1),), columns = ['preg',
                                                                                             'plas',
                                                                                             'pres',
                                                                                             'skin',
                                                                                             'insu',
                                                                                             'mass',
                                                                                             'pedi',
                                                                                             'age'])
from sklearn.model_selection import train_test_split
source_y = diabetes_data_copy.Outcome
train_X, test_X, train_y, test_y = train_test_split(source_x,
                                                   source_y,
                                                   train_size = .8,
                                                   random_state = 0)

 选用逻辑回归算法训练模型，导入算法并且导入评估算法

# 选用逻辑回归算法训练模型，导入算法并且导入评估算法
from sklearn.linear_model import LogisticRegression
# 训练模型
log_mod = LogisticRegression()
log_mod.fit(train_X, train_y)
preds = log_mod.predict(test_X)
from sklearn.metrics import confusion_matrix, accuracy_score
# 评估模型
confusion_matrix(test_y, preds) #混淆模型
print(accuracy_score(test_y, preds))

 得出的结果是

 

Heihei_study
关注
kaggle篇章三，新手入门糖尿病检测
weixin_61083660的博客
07-22 1425
kaggle篇章三，新手入门糖尿病检测
kaggle_diabetes
04-21
kaggle_diabetes
机器学习实战21-基于XGBoost算法实现糖尿病数据集的分类预测模型及应用
最新发布
weixin_42878111的博客
09-12 1818
XGBoost，即Extreme Gradient Boosting，是一种高效、灵活且分布式的梯度增强决策树算法，由陈天奇等人开发。它在机器学习竞赛平台Kaggle上因其卓越的性能而广受赞誉，尤其在回归和分类问题上表现突出。本部分将深入探讨XGBoost的核心数学原理，解析其如何在传统梯度提升框架基础上通过一系列创新设计达到更高的准确性和效率。在数据科学领域，Kaggle 成为了一个广受欢迎的数据集存储库和竞赛平台，吸引了众多研究者和实践者探索和应用机器学习算法。
机器学习：03 Kaggle比赛 患者是否患糖尿病
艾文
09-14 4218
初步了解机器学习中的模型融合，讲解模型融合的方法，最后通过Kaggle比赛： 患者是否患糖尿病案例演示如何使用
kaggle糖尿病视网膜病变失明检测top5解决方案
LXYTSOS的专栏
09-12 5292
比赛背景 想象一下，在失明发生之前就能够发现病变。数以百万计的人患有糖尿病性视网膜病变，这是导致老年人失明的主要原因。印度的Aravind眼科医院希望在农村地区的人们中发现并预防这种疾病，而那里的医疗筛查很难进行。目前，Aravind技术人员前往这些农村地区拍摄图像，然后依靠训练有素的医生对图像进行检查并提供诊断。因此kaggle举办了场比赛来加快疾病筛查。（本人排名：top6%，162/2987...
项目实战3：Kaggle糖尿病预测
qq_36171491的博客
05-20 4719
本章主要利用逻辑回归模型对糖尿病进行了预测。
Kaggle-diabetic-retinopathy-detection:YerevaNN团队在Kaggle糖尿病React疗法检测比赛中使用的脚本
05-15
标题"Kaggle-diabetic-retinopathy-detection: YerevaNN团队在Kaggle糖尿病React疗法检测比赛中使用的脚本"表明，这是一个关于比赛参赛代码的项目，由YerevaNN团队编写。他们可能采用了特定的策略和算法，结合了数学...
kaggle中风分类数据集
08-20
在医疗领域，预测和预防中风是至关重要的任务。Kaggle作为全球知名的数据科学竞赛平台，提供了一个专门针对中风预测的数据集，供研究者们探索和开发有效的预测模型。本文将深入探讨这个名为"healthcare-dataset-...
kaggle中关于图像的比赛整理
热门推荐
kepcum
06-16 1万+
传送门：https://www.kaggle.com/competitions点击打开链接 world文档下载地址：https://download.csdn.net/download/qq_33614902/10482467点击打开链接 一、图像 图像分割 1、CVPR 2018 WAD VideoSegmentation Challenge 将车辆拍摄的图像帧中的每个物体进行分割。 ...
Kaggle竞赛首选库！LightGBM详解与实现
jakpopc的博客
03-03 1170
LightGBM(LGBM)是一个开源的梯度提升库，在机器学习开发者中得到了极大的欢迎和喜爱。 目前，它已经成为Kaggle竞赛的首选库之一，正是因为它在训练模型过程中速度和准确度方面具有非常优秀的表现。 LightGBM的性能优势是它对数据进行采样（GOSS —Gradient-based One-Sided Sampling）并减少训练期间稀疏数据集中的特征数量（EFB — Exclusive Feature Bundling）的结果。 在本文中，我将尝试解释LGBM背后的关键概念，并在最后给出一
kaggle-diabetic-retinopathy:Kaggle糖尿病视网膜病变比赛的第11名
05-21
kaggle糖尿病性视网膜病 一般的 该存储库包含AI眼睛团队在Kaggle的糖尿病性视网膜病变检测比赛中的工作。 此README.md文件包含有关如何正确运行算法的一些信息。 单一模型的管道 python train.py （使用data / processed文件夹中存在的train / test分割！这很重要！） 这将训练模型并将模型，kappa图和最佳权重放置在models/<MODEL>文件夹中。 python optimize_threshold.py <MODEL> 这需要模型，最佳权重，验证拆分和真实标签。 它将用于验证集的最佳阈值输出到models/<MODEL>/optimal_thresholds 。 python predict.py <MODEL> 这需要测试集图像，样品提交，模型，最佳权重和最佳阈值。 它将测试集的预测输出到
Kaggle-Diabetic-Retinopathy-Detection:我的CNN模型存档，用于糖尿病性笑视竞赛
05-18
糖尿病视网膜病变竞赛的解决方案 这是Kaggle的竞赛，您的任务是将每个人的眼部检查分类为5种不同程度的糖尿病导致的疾病。 这是我用来处理原始图像的代码的存储库，即卷积神经网络模型（使用keras构建）。 它主要基于论坛中提供的一个基准。 执行以下步骤： 仅使用普通图像处理到256X256，未使用其他方式调整颜色等。 通过增加1、2、3和4类来平衡不同类的图片。 使用过的VGG风格架构，使用开普勒K20c GPU，以10个时期进行训练，批量大小为32。 它运行约2天。 由于输出是有序的（疾病的阶段），因此不作为分类问题运行，而是作为回归问题运行。 将原始输出转换为疾病阶段标签。 天真的，我们可以转换到接近阶段。 但是，根据原始数据集的比例对原始分数进行排名会产生更好的Kappa分数。 最后，该模型在私有数据集上得出的Kappa为0.38，由于辍学，该结果在公共得分上接近0.3
Diabetes_PythonWebApp：Desafio Kaggle-应用程序网络Python工具和框架精简的糖尿病前瞻性IA机器学习概念
02-12
WebApp糖尿病的Python诊断 Kaggle（皮马印第安人糖尿病数据库-根据诊断方法预测糖尿病的发作） Apresentação 应用程序网络语言Python实用程序和框架Streamlit参数化了糖尿病实用程序的先决条件。 普遍使用的糖尿病治疗方法，以“ .csv”作为基本治疗方法，使用普通的预防性治疗药， ％。 Objetivo 数据科学，智能人工智能和机器学习领域的综合计划。 原始资料 网站的基础数据集（.csv），网站的主要网站[Kaggle]（ ）。 全国糖尿病和消化系统研究所（NIDDK）的数据集，以及美国糖尿病学会的原始数据和原始数据。 可以在d达科斯州的普通糖尿病中受益，而在d达科斯州的medicasdiagnósticasmedicosdiagnósticasincluíacom的基础上。 瓦莱里亚斯州立薪金局和达拉斯州立银行总局。 Estrutura
PIMA印第安人中的糖尿病预测
02-14
PIMA印第安人中的糖尿病预测
pima_prediction:针对皮马印第安人的Scikit-Learn机器学习模型，用于预测患上糖尿病的可能性
03-29
pima_prediction 针对皮马印第安人的Scikit-Learn机器学习模型，用于预测患上糖尿病的可能性。 数据来自杰里·库拉塔（Jerry Kurata）的“学位”课程。 我使用数据文件和Jerry的课程来使自己沉浸在机器学习工作流程中。 Jupyter-Notebook遍历了数据处理以及多种模型的训练/评估。 我对注释和代码进行了编辑，以帮助我自己理解。
Py之XGBoost：XGBoost库(Kaggle神器)的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-13 8203
​ Py之XGBoost：XGBoost算法(Kaggle神器)的简介、安装、使用方法之详细攻略 目录 XGBoost算法模型(相关配图)的简介 XGBoost算法模型的代码实现 XGBoost算法模型的安装 XGBoost算法模型的使用方法 XGBoost算法模型的案例应用 相关文章 ML之XGBoost：《XGBoost: A Scalable Tree Boosting System》的翻译与解读 https://yunyaniu.blog.cs
【超详细】逻辑回归之kaggle糖尿病预测实战
weixin_50989751的博客
03-29 5127
学习目标： 逻辑回归——kaggle糖尿病预测实战 【实验所需数据私聊可发】 实验背景： 1、糖尿病是一组以高血糖为特征的代谢性疾病，由于胰岛素分泌缺陷或其生物作用受损则引起高血糖。长期存在的高血糖，会导致身体各种组织，特别是眼、肾、心脏、血管、神经的慢性损害和功能障碍。 2、通过2小时血浆葡萄糖浓度、2小时血清胰岛素、身体质量指数等特征来预测某个人是否罹患糖尿病，在众名的因素中，找到最能导致该病的关键特征。 实验步骤： 1.1#数据导入 import warnings warnings.filterwar
利用python机器学习库进行Kaggle皮马印第安人糖尿病预测分析
Gerard_mok的博客
08-20 1万+
利用python机器学习库进行Kaggle皮马印第安人糖尿病预测分析 一、数据集介绍 该数据集源至美国国家糖尿病、消化及肾脏疾病研究所。 数据集的目的是根据已有诊断信息来预测患者是否患有糖尿病。 但该数据库存在一定局限性，特别是数据集中的患者都是年龄大于等于21岁的皮马印第安女性。 数据来源：https://www.kaggle.com/uciml/pima-indians-diabetes-d...
kaggle糖尿病预测如何提高结果精度
06-02
要想提高Kaggle糖尿病预测的结果精度，可以考虑以下几个方面： 1. 数据清洗和特征工程：对数据进行清洗、缺失值处理、异常值处理等预处理工作，并对数据进行特征工程，提取更有用的特征。 2. 模型选择和调参：根据数据特点和任务需求，选择合适的模型，并进行模型参数的调整和优化，以提高模型的准确性。 3. 集成学习：采用多种模型进行集成学习，如stacking、bagging、boosting等，以获得更好的结果。 4. 模型融合：将多个模型的预测结果进行融合，如加权平均、投票等方式，以提高预测精度。 5. 数据增强：通过数据增强的方式，如数据旋转、翻转、缩放、平移等，扩充数据集，提高模型的泛化能力和鲁棒性。 6. 模型解释和可视化：通过模型解释和可视化的方式，深入了解模型的运作机理和特点，以便更好地优化模型和提高预测精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值