糖尿病遗传风险检测挑战赛

已于 2022-08-03 22:50:12 修改
阅读量732 收藏 4
点赞数 1
分类专栏： 数据分析 文章标签： 数据分析 算法 python 贪心算法
于 2022-07-10 18:52:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014674558/article/details/125704711
版权

糖尿病遗传风险检测挑战赛

加载数据

import pandas as pd
import lightgbm
import matplotlib.pyplot as plt
%matplotlib inline
import seaborn as sns
import numpy as np
from sklearn.model_selection import KFold

plt.style.use('ggplot')

np.random.seed(123)

pd.options.mode.chained_assignment = None

sns.set_style('whitegrid')
plt.rcParams['font.sans-serif'] = ['Arial Unicode MS'] # mac 下使用 设置中文字体

data1=pd.read_csv('./data/train.csv',encoding='gbk')
data2=pd.read_csv('./data/test.csv',encoding='gbk')

查看数据

data1.head()

在这里插入图片描述

data2.head()

在这里插入图片描述

data1.info()

<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 5070 entries, 0 to 5069
Data columns (total 10 columns):
Column Non-Null Count Dtype

0 编号 5070 non-null int64
1 性别 5070 non-null int64
2 出生年份 5070 non-null int64
3 体重指数 5070 non-null float64
4 糖尿病家族史 5070 non-null object
5 舒张压 4823 non-null float64
6 口服耐糖量测试 5070 non-null float64
7 胰岛素释放实验 5070 non-null float64
8 肱三头肌皮褶厚度 5070 non-null float64
9 患有糖尿病标识 5070 non-null int64
dtypes: float64(5), int64(4), object(1)
memory usage: 396.2+ KB

data1.isnull().count()

编号 5070
性别 5070
出生年份 5070
体重指数 5070
糖尿病家族史 5070
舒张压 5070
口服耐糖量测试 5070
胰岛素释放实验 5070
肱三头肌皮褶厚度 5070
患有糖尿病标识 5070
dtype: int64

data1.shape

(5070, 10)

data1.describe()

在这里插入图片描述

data1.groupby('性别')['体重指数'].mean()

性别
0 37.197603
1 38.925216
Name: 体重指数, dtype: float64

data1['体重指数'] - data1['性别'].map(
    data1.groupby('性别')['体重指数'].mean()
)

0 -7.097603
1 -9.697603
2 -2.425216
3 -9.425216
4 4.802397
…
5065 -2.525216
5066 -1.825216
5067 -11.797603
5068 -8.697603
5069 12.702397
Length: 5070, dtype: float64

data1.head()

在这里插入图片描述

data1.groupby('性别')['体重指数'].transform('mean')

0 37.197603
1 37.197603
2 38.925216
3 38.925216
4 37.197603
…
5065 38.925216
5066 38.925216
5067 37.197603
5068 37.197603
5069 37.197603
Name: 体重指数, Length: 5070, dtype: float64

data1.head()

在这里插入图片描述

data1.isnull().sum()

编号 0
性别 0
出生年份 0
体重指数 0
糖尿病家族史 0
舒张压 247
口服耐糖量测试 0
胰岛素释放实验 0
肱三头肌皮褶厚度 0
患有糖尿病标识 0
dtype: int64

data2.isnull().sum()

编号 0
性别 0
出生年份 0
体重指数 0
糖尿病家族史 0
舒张压 49
口服耐糖量测试 0
胰岛素释放实验 0
肱三头肌皮褶厚度 0
dtype: int64

data1.dtypes

编号 int64
性别 int64
出生年份 int64
体重指数 float64
糖尿病家族史 object
舒张压 float64
口服耐糖量测试 float64
胰岛素释放实验 float64
肱三头肌皮褶厚度 float64
患有糖尿病标识 int64
dtype: object

对数据做可视化查看

data1['性别'].value_counts().plot(kind = 'bar')

在这里插入图片描述

data1['性别'].value_counts().plot(kind = 'barh')

在这里插入图片描述

data1.groupby('患有糖尿病标识')['性别'].value_counts()

在这里插入图片描述

sns.countplot(x = '患有糖尿病标识',hue='性别',data = data1)

在这里插入图片描述

sns.boxplot(x = '患有糖尿病标识',y ='出生年份',data=data1)

在这里插入图片描述

sns.boxplot(x = '患有糖尿病标识',y ='出生年份',hue='性别',data=data1)

在这里插入图片描述

sns.violinplot(x = '患有糖尿病标识',y ='体重指数',hue='性别',data=data1)

在这里插入图片描述

sns.scatterplot(x='体重指数',y='舒张压',hue='患有糖尿病标识',data =data1)

体重指数与舒张压有明显的分层，体重指数在50-60，舒张压在80-100，基本都是患有糖尿病的，这两数据应该可以做一下挖掘
在这里插入图片描述

sns.kdeplot(x='体重指数',y='舒张压',hue='患有糖尿病标识',data =data1)

在这里插入图片描述

sns.kdeplot(x='体重指数',y='舒张压',hue='患有糖尿病标识',data =data1,fill=True,alpha = 0.5)

在这里插入图片描述

data1.head()

在这里插入图片描述

sns.scatterplot(x='胰岛素释放实验',y='口服耐糖量测试',hue='患有糖尿病标识',data =data1)

胰岛素释放实验和口服耐糖量测试没看出有啥明显的特征或者关联吧

在这里插入图片描述

sns.scatterplot(x='舒张压',y='肱三头肌皮褶厚度',hue='患有糖尿病标识',data =data1)

舒张压和肱三头肌皮褶厚度 也是和体重指数有一定的明显分层，肱三头肌皮褶厚度查了一下和体重应该有关
在这里插入图片描述

sns.scatterplot(x='舒张压',y='胰岛素释放实验',hue='患有糖尿病标识',data =data1)

舒张压和胰岛素释放实验 看似有一些明显的分层，舒张压在80-100，胰岛素释放实验在20-40之间的患者较多，应该有一定的数据特征值的挖掘
在这里插入图片描述

sns.scatterplot(x='舒张压',y='口服耐糖量测试',hue='患有糖尿病标识',data =data1)

舒张压与口服耐糖量测试也有明显的分层特征，舒张压在80-100，口服耐糖量测试在8-10患病较多，还有舒张压超过100-105之间，但是口服耐糖量测试在我、全数据范围都有，应该是有一定的数据特征需要进一步挖掘。

在这里插入图片描述

train_data=data1.drop(['编号','患有糖尿病标识'],axis=1)

plt.figure(figsize = (30, 12))
sns.heatmap(train_data.corr(), 
            annot = True,
            fmt = '.2f',
            square = True,
            cmap = "Blues_r", 
            mask = np.triu(train_data.corr()))

在这里插入图片描述

mask = np.zeros_like(train_data.corr(), dtype=np.bool)
#mask[np.triu_indices_from(mask)] = True

plt.subplots(figsize = (15,12))
sns.heatmap(train_data.corr(), 
            annot=True,
#             mask = mask,
            cmap = 'RdBu', ## in order to reverse the bar replace "RdBu" with "RdBu_r"
            linewidths=.9, 
            linecolor='gray',
            fmt='.2g',
            center = 0,
            square=True)
plt.title("Correlations Among Features", y = 1.03,fontsize = 20, pad = 80) #相关性矩阵

在这里插入图片描述

处理空数据

使用上一条数据将确实数据补充上，我觉得不太合理，应该使用平均数据，回头改进一下，其实影响也不大吧

data1['舒张压'].fillna(method='ffill', inplace=True)
data2['舒张压'].fillna(method='ffill', inplace=True)

data1.isnull().sum()

编号 0
性别 0
出生年份 0
体重指数 0
糖尿病家族史 0
舒张压 0
口服耐糖量测试 0
胰岛素释放实验 0
肱三头肌皮褶厚度 0
患有糖尿病标识 0
dtype: int64

data2.isnull().sum()

编号 0
性别 0
出生年份 0
体重指数 0
糖尿病家族史 0
舒张压 0
口服耐糖量测试 0
胰岛素释放实验 0
肱三头肌皮褶厚度 0
dtype: int64


#label标记为-1
data2['患有糖尿病标识']=-1

#训练集和测试机合并
data=pd.concat([data1,data2],axis=0,ignore_index=True)


使用Baseline的一些特征构造，还有自己查了一下构造了一些特征

#特征工程
"""
人体的成人体重指数正常值是在18.5-24之间
低于18.5是体重指数过轻
在24-27之间是体重超重
27以上考虑是肥胖
高于32了就是非常的肥胖。
"""
def BMI(a):
    if a<18.5:
        return 0
    elif 18.5<=a<=24:
        return 1
    elif 24<a<=27:
        return 2
    elif 27<a<=32:
        return 3
    else:
        return 4
    
data['BMI']=data['体重指数'].apply(BMI)
data['出生年份']=2022-data['出生年份']  #换成年龄

#糖尿病家族史
"""
无记录
叔叔或者姑姑有一方患有糖尿病/叔叔或姑姑有一方患有糖尿病
父母有一方患有糖尿病
"""
def FHOD(a):
    if a=='无记录':
        return 0
    elif a=='叔叔或者姑姑有一方患有糖尿病' or a=='叔叔或姑姑有一方患有糖尿病':
        return 1
    else:
        return 2
    
data['糖尿病家族史']=data['糖尿病家族史'].apply(FHOD)
data['舒张压']=data['舒张压'].fillna(-1)
"""
舒张压范围为60-90
"""
def DBP(a):
    if a<60:
        return 0
    elif 60<=a<=90:
        return 1
    elif a>90:
        return 2
    else:
        return a
data['DBP']=data['舒张压'].apply(DBP)
data

在这里插入图片描述

区分性别，体重与平均体重指数的差值作为一个特征

data['TBI']=data['体重指数'] - data['性别'].map(
    data.groupby('性别')['体重指数'].mean()
)
data

在这里插入图片描述
口服耐糖量测试的一个不正常的区间的划分

# 口服耐糖量测试   大于11.1不正常

def KFT(a):
    if a<7.8:
        return 0
    elif 7.8<=a<=11.1:
        return 1
    elif a>11.1:
        return 2
    else:
        return 3
data['KFT']=data['口服耐糖量测试'].apply(KFT)
data

在这里插入图片描述
胰岛素释放实验的一个不正常的区间的划分

# 9.93-124.9
# 餐后2小时胰岛素的正常值

# 胰岛素正常值空腹4.03-23.46pmol/ml，半小时22.63-137.52pmol/ml，1小时21.73-143.85pmol/ml，两小时9.93-124.9 pmol/ml，三小时5.06-25 pmol/ml口服葡萄糖刺激后应增加5~20倍,高峰在30~60分钟,一般较多都是胰岛素高峰延迟或者无高峰。

def KYD(a):
    if a<7.8:
        return 0
    elif 9.93<=a<=124.9:
        return 1
    elif a>124.9:
        return 2 
    else:
        return 3
data['KYD']=data['胰岛素释放实验'].apply(KYD)
data

在这里插入图片描述


# 正常成年男性的腹部皮褶厚度为5~15mm,大于15mm 为肥胖，小于5mm为消瘦;
# 正常成年女性的腹部皮褶厚度为 12~20mm,大于20mm为肥胖，小于12mm为消瘦，尤其对40 岁以上妇女测量此部位更有意义。
# 我国男性成人的肱三头肌皮褶厚度大于10.4mm,女性大 于17.5mm属于肥胖水平。
# 正常成人肩胛皮褶厚度的平均值为12.4mm,超过14mm 就可诊断为肥胖

data.groupby('性别')['肱三头肌皮褶厚度'].mean()

性别
0 6.837553
1 7.202857
Name: 肱三头肌皮褶厚度, dtype: float64

根据性别对肱三头肌皮褶厚度做了一个分段划分


def HST(a):
    if a['性别']==0:
        
        if a['肱三头肌皮褶厚度']>10.4:
            
            return 1
    
        else:
        
            return 0
            
    elif a['性别']==1:
        if a['肱三头肌皮褶厚度']>11.4:
            
            return 1
    
        else:
        
            return 0
    
    
data['HST']=data.apply(HST,axis=1)
data

在这里插入图片描述

data['BMI'] = data['BMI'].astype('category')
data['DBP'] = data['DBP'].astype('category')
data['KFT'] = data['KFT'].astype('category')
data['KYD'] = data['KYD'].astype('category')
data['HST'] = data['HST'].astype('category')

data

在这里插入图片描述

train=data[data['患有糖尿病标识'] !=-1]
test=data[data['患有糖尿病标识'] ==-1]

train_label=train['患有糖尿病标识']

train=train.drop(['编号','患有糖尿病标识'],axis=1)
test=test.drop(['编号','患有糖尿病标识'],axis=1)

train.head()

在这里插入图片描述

K折交叉验证


def select_by_lgb(train_data,train_label,test_data,random_state=2022,n_splits=5,metric='auc',num_round=10000,early_stopping_rounds=100):
    kfold = KFold(n_splits=n_splits, shuffle=True, random_state=random_state)
    fold=0
    result=[]
    for train_idx, val_idx in kfold.split(train_data):
        random_state+=1
        train_x = train_data.loc[train_idx]
        train_y = train_label.loc[train_idx]
        test_x = train_data.loc[val_idx]
        test_y = train_label.loc[val_idx]
        clf=lightgbm
        train_matrix=clf.Dataset(train_x,label=train_y)
        test_matrix=clf.Dataset(test_x,label=test_y)
        params={
                'boosting_type': 'gbdt',  
                'objective': 'binary',
                'learning_rate': 0.05,
                'metric': metric,
                'seed': 2020,
                'nthread':-1
        }
        model=clf.train(params,train_matrix,num_round,valid_sets=test_matrix,early_stopping_rounds=early_stopping_rounds)
        pre_y=model.predict(test_data)
        result.append(pre_y)
        fold+=1
    return result




test_data=select_by_lgb(train,train_label,test)
#test_data就是5折交叉验证中5次预测的结果
pre_y=pd.DataFrame(test_data).T
#将5次预测的结果求取平均值，当然也可以使用其他的方法
pre_y['averge']=pre_y[[i for i in range(5)]].mean(axis=1)
#因为竞赛需要你提交最后的预测判断，而模型给出的预测结果是概率，因此我们认为概率>0.5的即该患者有糖尿病，概率<=0.5的没有糖尿病
pre_y['label']=pre_y['averge'].apply(lambda x:1 if x>0.5 else 0)
pre_y
result=pd.read_csv('./data/提交示例.csv')
result['label']=pre_y['label']
result.to_csv('result5.csv',index=False)

在这里插入图片描述

使用贝叶斯调参

分布调参的，可以一次调参多个数据，但是时间要跑的很久，我是单个参数尝试的，感觉我这个单个调参和贪心算法调参有点类似了。

from sklearn.model_selection import GridSearchCV
parameters = {
    'max_depth': [3,5,10,15,20,40,55],
    'num_leaves': [3,5,10,15,20,40,55],
}


gbm = lightgbm.LGBMClassifier(
                boosting_type='gbdt',  
                objective= 'binary',
                learning_rate= 0.05,
                seed=2020,
                nthread=-1,
                cat_smooth= 10.4,                
                metric= 'auc',
                verbose=-1   
                        )


gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述


parameters = {
    'min_data_in_leaf ': [3,5,10,15,20,40,55],
    'min_sum_hessian_in_leaf ': [3,5,10,15,20,40,55],
}
gbm = lightgbm.LGBMClassifier(
                boosting_type='gbdt',  
                objective= 'binary',
                learning_rate= 0.05,
                seed=2020,
                nthread=-1,
                cat_smooth= 10.4,                
                metric= 'auc',
                verbose=-1,
                max_depth=10,
                num_leaves =20,
                
                        )
            

gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述


parameters = {
    'feature_fraction': [0.6, 0.8, 1],
}
gbm = lightgbm.LGBMClassifier(
                boosting_type='gbdt',  
                objective= 'binary',
                learning_rate= 0.05,
                seed=2020,
                nthread=-1,
                cat_smooth= 10.4,                
                metric= 'auc',
                verbose=-1,
                max_depth=10,
                num_leaves =20, 
                min_data_in_leaf='3',
                min_sum_hessian_in_leaf ='3',
                        )


gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述

parameters = {
    'bagging_fraction': [0.8,0.9,1],
     'bagging_freq': [2,3,4],
}
gbm = lightgbm.LGBMClassifier(
                boosting_type='gbdt',  
                objective= 'binary',
                learning_rate= 0.05,
                seed=2020,
                nthread=-1,
                cat_smooth= 10.4,                
                metric= 'auc',
                verbose=-1,
                max_depth=10,
                num_leaves =20, 
                min_data_in_leaf=3,
                min_sum_hessian_in_leaf =3, 
                feature_fraction=0.8
                        )


gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述


parameters = {
    'lambda_l1': [0.2,0.4,0.5,0.6,0.8,0.9,1],
     'lambda_l2': [0.2,0.4,0.5,0.6,0.8,0.9,1,1.2],
}
gbm = lightgbm.LGBMClassifier(boosting_type='gbdt',  
                objective= 'binary',
                learning_rate= 0.05,
                seed=2020,
                nthread=-1,
                cat_smooth= 10.4,                
                metric= 'auc',
                verbose=-1,
                max_depth=10,
                num_leaves =20, 
                min_data_in_leaf=3,
                min_sum_hessian_in_leaf =3, 
                feature_fraction=0.8,
                bagging_fraction=1,
                bagging_freq = 2, 
                              
                        )


gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述

parameters = {
    'cat_smooth': [0,4,6,8,10],
}
gbm = lightgbm.LGBMClassifier(boosting_type='gbdt',  
                objective= 'binary',
                learning_rate= 0.05,
                seed=2020,
                nthread=-1,
                cat_smooth= 10.4,                
                metric= 'auc',
                verbose=-1,
                max_depth=10,
                num_leaves =20, 
                min_data_in_leaf=3,
                min_sum_hessian_in_leaf =3, 
                feature_fraction=0.8,
                bagging_fraction=1,
                bagging_freq = 2,  
                lambda_l1 =0.3,
                      lambda_l2=0.4,        
                        )


gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述


parameters = {
    'learning_rate': [0.01,0.02,0.06,0.08,0.1,0.2,0.3,0.4,0.6,0.8],
}
gbm = lightgbm.LGBMClassifier(boosting_type='gbdt',  
                objective= 'binary',
                learning_rate= 0.05,
                seed=2020,
                nthread=-1,
                cat_smooth= 0,                
                metric= 'auc',
                verbose=-1,
                max_depth=10,
                num_leaves =20, 
                min_data_in_leaf=3,
                min_sum_hessian_in_leaf =3, 
                feature_fraction=0.8,
                bagging_fraction=1,
                bagging_freq = 2,  
                lambda_l1 =0.3,
                lambda_l2=0.4,   
                        )


gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述

parameters = {
    'min_data_in_leaf ': [3,5,10,15,20,40,55],
    'min_sum_hessian_in_leaf ': [3,5,10,15,20,40,55],
}
gbm = lightgbm.LGBMClassifier(objective= 'binary',
                learning_rate= 0.02,
                seed=2020,
                nthread=-1,
                cat_smooth= 0,                
                metric= 'auc',
                verbose=-1,
                max_depth=10,
                num_leaves =20, 
                min_data_in_leaf=3,
                min_sum_hessian_in_leaf =3, 
                feature_fraction=0.8,
                bagging_fraction=1,
                bagging_freq = 2,  
                lambda_l1 =0.3,
                lambda_l2=0.4,
            )

gsearch = GridSearchCV(gbm, parameters,scoring='f1',cv=5)
gsearch.fit(train, train_label)
print('参数的最佳取值:{0}'.format(gsearch.best_params_))
print('最佳模型得分:{0}'.format(gsearch.best_score_))
print(gsearch.cv_results_['mean_test_score'])
print(gsearch.cv_results_['params'])

在这里插入图片描述

最后的把最优的参数放一起训练输出结果



def select_by_lgb(train_data,train_label,test_data,random_state=2022,n_splits=5,metric='auc',num_round=10000,early_stopping_rounds=100):
    kfold = KFold(n_splits=n_splits, shuffle=True, random_state=random_state)
    fold=0
    result=[]
    for train_idx, val_idx in kfold.split(train_data):
        random_state+=1
        train_x = train_data.loc[train_idx]
        train_y = train_label.loc[train_idx]
        test_x = train_data.loc[val_idx]
        test_y = train_label.loc[val_idx]
        clf=lightgbm
        train_matrix=clf.Dataset(train_x,label=train_y)
        test_matrix=clf.Dataset(test_x,label=test_y)
        params={            
            'objective':'binary',
                'learning_rate':0.02,
                'seed':2020,
                'cat_smooth': 0,                
                'metric':'auc',
                'verbose':-1,
                'max_depth':10,
                'num_leaves' :20, 
                'min_data_in_leaf':3,
                'min_sum_hessian_in_leaf' :3, 
                'feature_fraction':0.8,
                'bagging_fraction':1,
                'bagging_freq':2,  
                'lambda_l1':0.3,
                'lambda_l2':0.4,
            'min_data_in_leaf':3,
            'min_sum_hessian_in_leaf':3
        }
        model=clf.train(params,train_matrix,num_round,valid_sets=test_matrix,early_stopping_rounds=early_stopping_rounds)
        pre_y=model.predict(test_data)
        result.append(pre_y)
        fold+=1
    return result


test_data=select_by_lgb(train,train_label,test)
#test_data就是5折交叉验证中5次预测的结果
pre_y=pd.DataFrame(test_data).T
#将5次预测的结果求取平均值，当然也可以使用其他的方法
pre_y['averge']=pre_y[[i for i in range(5)]].mean(axis=1)
#因为竞赛需要你提交最后的预测判断，而模型给出的预测结果是概率，因此我们认为概率>0.5的即该患者有糖尿病，概率<=0.5的没有糖尿病
pre_y['label']=pre_y['averge'].apply(lambda x:1 if x>0.5 else 0)
pre_y
result=pd.read_csv('./data/提交示例.csv')
result['label']=pre_y['label']
result.to_csv('result6.csv',index=False)

在这里插入图片描述

在这里插入图片描述

使用遗传算法查找最优模型

在这里插入代码片
from sklearn.model_selection import train_test_split 
from tpot import TPOTRegressor


XX_train, XX_test, yy_train, yy_test = train_test_split(train, train_label,
 train_size=0.75, test_size=0.25)

tpot = TPOTRegressor(generations=5, population_size=50, verbosity=2)
tpot.fit(XX_train, yy_train)
print(tpot.score(XX_test, yy_test))
tpot.export('tpot_boston_pipeline.py')

tpot_boston_pipeline.py 中的最优模型

import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.kernel_approximation import Nystroem
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline

# NOTE: Make sure that the outcome column is labeled 'target' in the data file
tpot_data = pd.read_csv('PATH/TO/DATA/FILE', sep='COLUMN_SEPARATOR', dtype=np.float64)
features = tpot_data.drop('target', axis=1)
training_features, testing_features, training_target, testing_target = \
            train_test_split(features, tpot_data['target'], random_state=None)

# Average CV score on the training set was: -0.09071624025580921
exported_pipeline = make_pipeline(
    Nystroem(gamma=0.2, kernel="poly", n_components=9),
    RandomForestRegressor(bootstrap=False, max_features=0.1, min_samples_leaf=15, min_samples_split=8, n_estimators=100)
)

exported_pipeline.fit(training_features, training_target)
results = exported_pipeline.predict(testing_features)

使用给出的最优模型进行 训练

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
def select_by_lgb(train_data,train_label,test_data,random_state=2022,n_splits=5,metric='auc',num_round=10000,early_stopping_rounds=100):
    kfold = KFold(n_splits=n_splits, shuffle=True, random_state=random_state)
    fold=0
    result=[]

    for train_idx, val_idx in kfold.split(train_data):
        random_state+=1
        train_x = train_data.loc[train_idx]
        train_y = train_label.loc[train_idx]
        test_x = train_data.loc[val_idx]
        test_y = train_label.loc[val_idx]
        exported_pipeline = RandomForestRegressor(bootstrap=True, max_features=0.6000000000000001, min_samples_leaf=6, min_samples_split=6, n_estimators=10000)
        exported_pipeline.fit(test_x, test_y)
        results = exported_pipeline.predict(test_data)
        pre_y=exported_pipeline.predict(test_data)

        result.append(pre_y)
        fold+=1
    return result

test_data=select_by_lgb(train,train_label,test)
#test_data就是5折交叉验证中5次预测的结果
pre_y=pd.DataFrame(test_data).T
#将5次预测的结果求取平均值，当然也可以使用其他的方法
pre_y['averge']=pre_y[[i for i in range(5)]].mean(axis=1)
#因为竞赛需要你提交最后的预测判断，而模型给出的预测结果是概率，因此我们认为概率>0.5的即该患者有糖尿病，概率<=0.5的没有糖尿病
pre_y['label']=pre_y['averge'].apply(lambda x:1 if x>0.5 else 0)
pre_y
result=pd.read_csv('./data/提交示例.csv')
result['label']=pre_y['label']
result.to_csv('result7.csv',index=False)

结果比baseline好了一丢丢，但分数提升不多，在逆上分路上越走越走越远啊
在这里插入图片描述
总结：
1.通过数据可视化观察：

舒张压和胰岛素释放实验
舒张压与口服耐糖量测试
胰岛素释放实验和口服耐糖量
体重指数与舒张压

2.尝试使用多模型权重处理

这几项做联合数据处理进行特征挖掘，应该还可以挖掘的，等后续挖掘一下再更新
补上权重融合的作业

糖尿病遗传风险检测挑战赛-权重融合

清浅岁月
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
数据挖掘、机器学习+数据集+糖尿病遗传风险预测挑战赛公开数据（讯飞开放平台）
07-14
赛事链接：https://challenge.xfyun.cn/topic/info?type=diabetes&ch=ds22-dw-wd01 内容概要：赛题数据由训练集和测试集组成，具体情况如下： - 训练集：共有5070条数据，用于构建您的预测模型 - 测试集：共有1000条数据，用于验证预测模型的性能。 其中训练集数据包含有9个字段：性别、出生年份、体重指数、糖尿病家族史、舒张压、口服耐糖量测试、胰岛素释放实验、肱三头肌皮褶厚度、患有糖尿病标识（数据标签）。 在此基础上增加了两种训练策略的机器学习代码：官方的demo的ipynb代码和一个决策树实现的代码。 适用人群：初学数据挖掘、机器学习的新手 使用目标及场景：初学数据挖掘、机器学习，，提高实践技能 其他说明：学习交流。
（五）skrean交叉验证：评估评估器的性能
Haward
07-28 945
import numpy as np from sklearn.model_selection import train_test_split from sklearn import datasets from sklearn import svm iris = datasets.load_iris() iris.data.shape, iris.target.shape ((150, 4),...
机器学习之选择小样本交叉验证训练模型并使用精确率、召回率、F1分数和AUC值、画出ROC曲线评估
繁华三千东流水不舍昼夜的博客
08-09 4183
本片博文主要介绍随机采集小样本，使用交叉验证评价模型类别，使用表格查找器选择模型最优参数以及模型评估的各项指标等
2022讯飞——糖尿病遗传风险检测挑战赛解决方案
weixin_44590417的博客
09-03 2413
2022科大讯飞——糖尿病遗传风险检测挑战赛解决方案分享
糖尿病遗传风险检测挑战赛竞赛学习
weixin_51805094的博客
07-23 488
糖尿病遗传风险检测挑战赛竞赛学习
[二分类预测模型]糖尿病遗传风险检测挑战赛baseline
01-16
该资源包括’‘2022讯飞开发者大赛-糖尿病遗传风险检测挑战赛’‘中用于比赛数据的分析与模型构建的baseline代码，该赛题旨在根据性别、出生年份、体重指数、糖尿病家族史、舒张压、口服耐糖量测试、胰岛素释放实验...
阿里天池—人工智能辅助糖尿病遗传风险预测
06-23
Jupyter Notebook
人工智能辅助糖尿病遗传风险预测参考文献
07-07
人工智能辅助糖尿病遗传风险预测参考文献，很多英文文章。
人工智能辅助糖尿病遗传风险预测
06-23
天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测为题目，首先对给定数据进行了相关的数据挖掘、数据分析、数据预处理等，并在预处理后的数据基础上对给定样本的血糖含量进行预测。 文件说明 代码文件 主要包括...
【Datawhale】【机器学习】糖尿病遗传风险检测挑战赛
myaijarvis notebook
07-25 1055
截至2022年，中国糖尿病患者近1.3亿。中国糖尿病患病原因受生活方式、老龄化、城市化、家族遗传等多种因素影响。同时，糖尿病患者趋向年轻化。糖尿病可导致心血管、肾脏、脑血管并发症的发生。因此，准确诊断出患有糖尿病个体具有非常重要的临床意义。糖尿病早期遗传风险预测将有助于预防糖尿病的发生。......
数据挖掘竞赛——糖尿病遗传风险检测挑战赛进阶
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
07-21 944
糖尿病遗传风险检测挑战赛进阶部分，包括特征工程、模型选择、参数优化等内容。
糖尿病遗传风险检测挑战赛-Coggle 30 Days of ML
不让人放心
07-12 723
Coggle七月份学习活动：糖尿病遗传风险检测挑战赛
【打卡】糖尿病遗传风险检测挑战赛
weixin_42551154的博客
06-26 2534
【打卡】糖尿病遗传风险检测挑战赛 机器学习入门
sklearn中使用cross_val_score当scoring=“recall“或者“precision“的时候,正类(positive)是哪个类？(针对二分类)
weixin_43356308的博客
02-08 2859
想看结论直接拉到最下面。 我们知道，使用sklearn中的交叉验证cross_var_score来测试自己机器模型时，可以比单独train_test_split划分测试集，数据集测试更能显示模型的泛化性，使结果更具说服力。 我在测试的时候需要用到precision，recall，f1这三个指标，我就会使用 cross_val_score(clf,X_var0,Y.values.ravel(),cv=10,scoring="precision").mean() cross_val_score(clf,X_va
cross_val_score中scoring参数
stan1111的博客
09-02 3324
在使用交叉验证的过程中，我们需要指定评分指标用于查看模型性能的好坏。 如上图所示，在交叉验证的每一次迭代过程中默认使用评估器（对应的模型）的score方法，每个评估器的score方法指定的评分标准有所不一样。比如逻辑回归模型的score方法使用的是accuracy，也就是预测值和真实值之间的正确率。如果我们想要指定其他的评分方法就要使用到cross_val_score的scoring参数,图中将clf这个评估器的评分方法换成了f1_macro方法。 文档中还提到，当cv参数是整数或none时，且评估器是分.
Scikit中使用Grid_Search来获取模型的最佳参数
热门推荐
Abraham Ben
07-11 2万+
1. grid search是用来寻找模型的最佳参数先导入一些依赖包from sklearn.ensemble import GradientBoostingClassifier from sklearn.grid_search import GridSearchCV from sklearn import metrics import numnpy as np import pandas as p
f1 score 代码_机器学习中的F1-score
weixin_39796868的博客
12-19 2751
一、什么是F1-scoreF1分数(F1-score)是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛，常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数，最大为1，最小为0。此外还有F2分数和F0.5分数。F1分数认为召回率和精确率同等重要，F2分数认为召回率的重要程度是精确率的2倍，而F0.5分数认为召回率的重要程度是精确率的一半。计算公式为：G分数是另一种统一精确...
机器学习F1_score(1)分类模型检验
lc574260570的博客
08-21 3175
交叉验证来获得模型的准确性，算法 1)查准率和召回率 查准率反应的是对不对，找到的对不对的比率 召回率反应的是全不全，找到的全不全的比率 正确性和完整性分别对应查准率和召回率 ,,,,,,,,,,,,,,,被正确识别为某类别的样本数 查准率=——————————————- ,,,,,,,,,,,,,,,被识别为该类别的样本数 正确性：对不对 ,,,,,,,,,,,,,,被正确识别...
糖尿病遗传风险预测python
最新发布
01-22
Python作为一种功能强大的编程语言，可以用来进行糖尿病遗传风险预测。 首先，我们需要收集研究对象的相关信息，包括年龄、性别、家族史、体重指数（BMI）、血压、血糖水平等。这些信息可以通过数据表格或者问卷的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值