【intel校企合作课程】预测淡水质量

1.问题分析

1.1 问题描述

        淡水是我们最重要和最稀缺的自然资源之一，仅占地球总水量的 3%。它几乎触及我们日常生活的方方面面，从饮用、游泳和沐浴到生产食物、电力和我们每天使用的产品。获得安全卫生的供水不仅对人类生活至关重要，而且对正在遭受干旱、污染和气温升高影响的周边生态系统的生存也至关重要。

1.2 预期解决方案

        通过参考英特尔的类似实现方案，预测淡水是否可以安全饮用和被依赖淡水的生态系统所使用，从而可以帮助全球水安全和环境可持续性发展。这里分类准确度和推理时间将作为评分的主要依据。

1.3 数据集

训练集： 

链接：https://pan.baidu.com/s/1filq1u3tlkf6VGBf1CcwwQ?pwd=jilr 
提取码：jilr

测试集：

链接：https://pan.baidu.com/s/16aYqE8b0wnQ4b59_xiEsFA?pwd=tr7f 
提取码：tr7f

2.代码实现

2.1 配置库和模块

import os
import xgboost
from xgboost import XGBClassifier
import time
import warnings

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import plotly.io as pio
import plotly.graph_objects as go
from sklearn.utils import resample

from sklearn.model_selection import train_test_split, StratifiedKFold, GridSearchCV, RandomizedSearchCV
from sklearn.preprocessing import RobustScaler
from sklearn.metrics import roc_auc_score, roc_curve, auc, accuracy_score, f1_score
from sklearn.preprocessing import StandardScaler
import sklearn
from sklearn.metrics import precision_recall_curve, average_precision_score

 为了方便查出输出结果，对运行环境进行设置,使其支持中文显示，并配置 pandas 最大列数为 100,避免其对列数进行隐藏,这样利于后续查看各样本列的情况。

os.environ['NLSLANG']='SIMPLIFIED CHINESE_CHINA.UTF8'
pd.set_option( 'display.max_columns', 100)

使用intel加速组件来加速训练和预测速度。

 1.daal4py组件：可将训练好的xgboost转换为 daal4py 模型，以便进一步改进预测时间性能, 利用底层的英特尔® 高级矢量扩展指令集（英特尔® AVX-512）硬件，最大限度地提高英特尔® 至强® 处理器上的梯度提升性能。

2.modin：使用Ray、Dask或Unidist提供一种轻松的方式来加速pandas 、脚本和库。与其他分布式 DataFrame 库不同，Modin 提供与现有 pandas 代码的无缝集成和兼容性，即使使用 DataFrame 构造函数也是相同的。

3.sklearnex：借助面向 Scikit-learn* 的英特尔® 扩展，加速 Scikit-learn，并且仍然完全符合所有 Scikit-Learn API 和算法。

import daal4py as d4p

import modin.pandas as pd
from modin.config import Engine
Engine.put("dask")

from sklearnex