房屋信贷违约风险竞争(kaggle)系列4-基准模型

最新推荐文章于 2023-12-27 08:44:33 发布
最新推荐文章于 2023-12-27 08:44:33 发布
阅读量867 收藏 4
点赞数 1
分类专栏： 数据分析 + 机器学习 Python # Python数据分析与机器学习 文章标签： python 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/126468909
版权

文章目录

一. 特征工程

特征工程赢得了Kaggle竞赛:那些获胜的是那些能够从数据中创建最有用的功能的人。(这在很大程度上是正确的，因为获胜的模型，至少对于结构化数据来说，都倾向于梯度提升的变体)。这代表了机器学习中的一种模式:特征工程比模型构建和超参数调优有更大的投资回报。这是一篇关于这个主题的好文章。正如Andrew Ng喜欢说的那样:“应用机器学习基本上就是特征工程。”

在选择合适的模型和最优的设置是很重要的，模型只能从给定的数据中学习。确保这些数据尽可能与任务相关是数据科学家的工作(可能还有一些自动化工具来帮助我们)。

特征工程指的是一个遗传过程，它既包括特征构造:从现有数据中添加新特征，也包括特征选择:只选择最重要的特征或其他降维方法。我们可以使用许多技术来创建特性和选择特性。

当我们开始使用其他数据源时，我们将做大量的特性工程，但是在这个笔记本中，我们将只尝试两种简单的特性构造方法:

  1. 多项式特征
  2. 领域知识的特点
# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

# 为多项式特征建立一个新的数据dataframe
poly_features = app_train[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH', 'TARGET']]
poly_features_test = app_test[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH']]

imputer = SimpleImputer(strategy='median')

poly_target = poly_features['TARGET']

poly_features = poly_features.drop(columns=['TARGET'])

# 需要估算缺失值
poly_features = imputer.fit_transform(poly_features)
poly_features_test = imputer.transform(poly_features_test)

# 创建具有指定程度的多项式对象
poly_transformer = PolynomialFeatures(degree=3)

# 训练多项式特征
poly_transformer.fit(poly_features)

# 转化特征值
poly_features = poly_transformer.transform(poly_features)
poly_features_test = poly_transformer.transform(poly_features_test)
print('Polynomial Features shape: ', poly_features.shape)

image.png

这创建了大量的新特性。要获得名称，我们必须使用多项式特性get_feature_names方法。

# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

# 为多项式特征建立一个新的数据dataframe
poly_features = app_train[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH', 'TARGET']]
poly_features_test = app_test[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH']]

imputer = SimpleImputer(strategy='median')

poly_target = poly_features['TARGET']

poly_features = poly_features.drop(columns=['TARGET'])

# 需要估算缺失值
poly_features = imputer.fit_transform(poly_features)
poly_features_test = imputer.transform(poly_features_test)

# 创建具有指定程度的多项式对象
poly_transformer = PolynomialFeatures(degree=3)

# 训练多项式特征
poly_transformer.fit(poly_features)

# 转化特征值
poly_features = poly_transformer.transform(poly_features)
poly_features_test = poly_transformer.transform(poly_features_test)
#print('Polynomial Features shape: ', poly_features.shape)

poly_list = poly_transformer.get_feature_names(input_features = ['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH'])[:50]

for p in poly_list:
    print(p)

image.png

有35个特性，每个特性都被提升到3级和交互项。
现在，我们可以看到这些新特性是否与目标相关联。

# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

# 为多项式特征建立一个新的数据dataframe
poly_features = app_train[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH', 'TARGET']]
poly_features_test = app_test[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH']]

imputer = SimpleImputer(strategy='median')

poly_target = poly_features['TARGET']

poly_features = poly_features.drop(columns=['TARGET'])

# 需要估算缺失值
poly_features = imputer.fit_transform(poly_features)
poly_features_test = imputer.transform(poly_features_test)

# 创建具有指定程度的多项式对象
poly_transformer = PolynomialFeatures(degree=3)

# 训练多项式特征
poly_transformer.fit(poly_features)

# 转化特征值
poly_features = poly_transformer.transform(poly_features)
poly_features_test = poly_transformer.transform(poly_features_test)
#print('Polynomial Features shape: ', poly_features.shape)

# 创建特性的dataframe
poly_features = pd.DataFrame(poly_features,
                             columns = poly_transformer.get_feature_names(['EXT_SOURCE_1', 'EXT_SOURCE_2',
                                                                           'EXT_SOURCE_3', 'DAYS_BIRTH']))

# 增加目标值
poly_features['TARGET'] = poly_target

# 找到目标相关性
poly_corrs = poly_features.corr()['TARGET'].sort_values()

# 显示最不相关和最相关的一面 
print(poly_corrs.head(10))
print(poly_corrs.tail(5))

image.png

一些新变量与目标的相关性(就绝对值大小而言)比原始特征更大。当我们构建机器学习模型时，我们可以尝试使用和不使用这些特性来确定它们是否真的有助于模型学习。
我们将把这些特性添加到训练和测试集的副本中，然后评估有和没有这些特性的模型。很多时候，在机器学习中，知道一种方法是否有效的唯一方法就是去尝试它!

# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

# 为多项式特征建立一个新的数据dataframe
poly_features = app_train[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH', 'TARGET']]
poly_features_test = app_test[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'DAYS_BIRTH']]

imputer = SimpleImputer(strategy='median')

poly_target = poly_features['TARGET']

poly_features = poly_features.drop(columns=['TARGET'])

# 需要估算缺失值
poly_features = imputer.fit_transform(poly_features)
poly_features_test = imputer.transform(poly_features_test)

# 创建具有指定程度的多项式对象
poly_transformer = PolynomialFeatures(degree=3)

# 训练多项式特征
poly_transformer.fit(poly_features)

# 转化特征值
poly_features = poly_transformer.transform(poly_features)
poly_features_test = poly_transformer.transform(poly_features_test)
#print('Polynomial Features shape: ', poly_features.shape)

# 创建特性的dataframe
poly_features = pd.DataFrame(poly_features,
                             columns = poly_transformer.get_feature_names(['EXT_SOURCE_1', 'EXT_SOURCE_2',
                                                                           'EXT_SOURCE_3', 'DAYS_BIRTH']))

# 增加目标值
poly_features['TARGET'] = poly_target

# 找到目标相关性
poly_corrs = poly_features.corr()['TARGET'].sort_values()


# 将测试特征值放入dafaframe中
poly_features_test = pd.DataFrame(poly_features_test,
                                  columns = poly_transformer.get_feature_names(['EXT_SOURCE_1', 'EXT_SOURCE_2',
                                                                                'EXT_SOURCE_3', 'DAYS_BIRTH']))

# 将多项式特征合并到训练集中
poly_features['SK_ID_CURR'] = app_train['SK_ID_CURR']
app_train_poly = app_train.merge(poly_features, on = 'SK_ID_CURR', how = 'left')

# 将多项式特性合并到测试dafaframe中
poly_features_test['SK_ID_CURR'] = app_test['SK_ID_CURR']
app_test_poly = app_test.merge(poly_features_test, on = 'SK_ID_CURR', how = 'left')

# 对齐dafaframe
app_train_poly, app_test_poly = app_train_poly.align(app_test_poly, join = 'inner', axis = 1)

# 显示新的矩阵信息
print('Training data with polynomial features shape: ', app_train_poly.shape)
print('Testing data with polynomial features shape:  ', app_test_poly.shape)

image.png

二. 领域知识的特点

因为我不是信用专家，也许称这种“领域知识”并不完全正确，但或许我们可以称之为“应用有限金融知识的尝试”。
在这种思路下，我们可以创建一些功能，试图捕捉我们认为可能对判断客户是否会拖欠贷款很重要的内容。
在这里，我将使用由Aguiar的这个脚本启发的4个特性:

  1. CREDIT_INCOME_PERCENT:信用金额相对于客户的收入的百分比
  2. ANNUITY_INCOME_PERCENT:贷款年金相对于客户收入的百分比
  3. CREDIT_TERM:以月份为单位的付款期限(因为年金是每月应付金额
  4. DAYS_EMPLOYED_PERCENT:相对于客户的年龄，被雇佣的天数的百分比
# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

app_train_domain = app_train.copy()
app_test_domain = app_test.copy()

app_train_domain['CREDIT_INCOME_PERCENT'] = app_train_domain['AMT_CREDIT'] / app_train_domain['AMT_INCOME_TOTAL']
app_train_domain['ANNUITY_INCOME_PERCENT'] = app_train_domain['AMT_ANNUITY'] / app_train_domain['AMT_INCOME_TOTAL']
app_train_domain['CREDIT_TERM'] = app_train_domain['AMT_ANNUITY'] / app_train_domain['AMT_CREDIT']
app_train_domain['DAYS_EMPLOYED_PERCENT'] = app_train_domain['DAYS_EMPLOYED'] / app_train_domain['DAYS_BIRTH']
app_test_domain['CREDIT_INCOME_PERCENT'] = app_test_domain['AMT_CREDIT'] / app_test_domain['AMT_INCOME_TOTAL']
app_test_domain['ANNUITY_INCOME_PERCENT'] = app_test_domain['AMT_ANNUITY'] / app_test_domain['AMT_INCOME_TOTAL']
app_test_domain['CREDIT_TERM'] = app_test_domain['AMT_ANNUITY'] / app_test_domain['AMT_CREDIT']
app_test_domain['DAYS_EMPLOYED_PERCENT'] = app_test_domain['DAYS_EMPLOYED'] / app_test_domain['DAYS_BIRTH']

三. 可视化新变量

我们应该在图中直观地探讨这些领域知识变量。对于所有这些，我们将使相同的KDE图由目标值

# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

app_train_domain = app_train.copy()
app_test_domain = app_test.copy()

app_train_domain['CREDIT_INCOME_PERCENT'] = app_train_domain['AMT_CREDIT'] / app_train_domain['AMT_INCOME_TOTAL']
app_train_domain['ANNUITY_INCOME_PERCENT'] = app_train_domain['AMT_ANNUITY'] / app_train_domain['AMT_INCOME_TOTAL']
app_train_domain['CREDIT_TERM'] = app_train_domain['AMT_ANNUITY'] / app_train_domain['AMT_CREDIT']
app_train_domain['DAYS_EMPLOYED_PERCENT'] = app_train_domain['DAYS_EMPLOYED'] / app_train_domain['DAYS_BIRTH']
app_test_domain['CREDIT_INCOME_PERCENT'] = app_test_domain['AMT_CREDIT'] / app_test_domain['AMT_INCOME_TOTAL']
app_test_domain['ANNUITY_INCOME_PERCENT'] = app_test_domain['AMT_ANNUITY'] / app_test_domain['AMT_INCOME_TOTAL']
app_test_domain['CREDIT_TERM'] = app_test_domain['AMT_ANNUITY'] / app_test_domain['AMT_CREDIT']
app_test_domain['DAYS_EMPLOYED_PERCENT'] = app_test_domain['DAYS_EMPLOYED'] / app_test_domain['DAYS_BIRTH']

plt.figure(figsize=(12, 20))
# 迭代新特征
for i, feature in enumerate(
        ['CREDIT_INCOME_PERCENT', 'ANNUITY_INCOME_PERCENT', 'CREDIT_TERM', 'DAYS_EMPLOYED_PERCENT']):
    # 为每个soruce创建一个新的子图
    plt.subplot(4, 1, i + 1)
    # 偿还贷款平面图
    sns.kdeplot(app_train_domain.loc[app_train_domain['TARGET'] == 0, feature], label='target == 0')
    # 未偿还贷款的平面图
    sns.kdeplot(app_train_domain.loc[app_train_domain['TARGET'] == 1, feature], label='target == 1')

    # 平面图的标签
    plt.title('Distribution of %s by Target Value' % feature)
    plt.xlabel('%s' % feature);
    plt.ylabel('Density');

plt.tight_layout(h_pad=2.5)
plt.show()

image.png

三. 基线

原始的基准,我们可以猜测所有例子测试相同的值集。我们被要求预测的概率不偿还贷款,如果我们完全不确定,我们猜0.5测试集上的所有观测。这将给我们一个接收器的操作特性曲线下的面积(AUC ROC)0.5的竞争(随机猜测分类任务得分0.5)。

因为我们已经知道我们会得到什么分数，我们真的不需要做一个天真的基线猜测。
让我们用一个稍微复杂一点的模型来描述我们的实际基线:逻辑回归。

四. 逻辑回归的实现

在这里，我将侧重于实现模型而不是解释细节，但是对于那些想要更多地了解机器学习算法理论的人，我建议对统计学习和使用scikit - learning和TensorFlow的实际机器学习进行介绍。
这两本书都介绍了制作模型所需的理论和代码(分别用R和Python编写)。
他们都认为最好的学习方法就是实践，而且他们都非常有效!

为了获得基线，我们将在编码分类变量之后使用所有的特性。
我们将通过填充缺失值(赋值)和规范化特征的范围(特征缩放)对数据进行预处理。
下面的代码执行这两个预处理步骤。

# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

from sklearn.preprocessing import MinMaxScaler

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

app_train = app_train.select_dtypes(['number'])
app_test = app_test.select_dtypes(['number'])

# 从训练数据中删除目标
if 'TARGET' in app_train:
    train = app_train.drop(columns=['TARGET'])
else:
    train = app_train.copy()

# 特征名称
features = list(train.columns)

# 复制测试集
test = app_test.copy()

# 缺失值的中值估算
imputer = SimpleImputer(strategy='median')

# 将每个特性缩放到0-1
scaler = MinMaxScaler(feature_range=(0, 1))

# 符合训练数据
imputer.fit(train)

# 转换训练和测试数据
train = imputer.transform(train)
test = imputer.transform(app_test)

# 重复的标量
scaler.fit(train)
train = scaler.transform(train)
test = scaler.transform(test)

print('Training data shape: ', train.shape)
print('Testing data shape: ', test.shape)

image.png

我们将在第一个模型中使用来自Scikit-Learn的logisticregressionlearn。我们将对默认模型设置做的唯一更改是降低正则化参数C，该参数控制过拟合的数量(一个较低的值应该会减少过拟合)。这将使我们得到比默认逻辑回归略好的结果，但它仍然会为未来的任何模型设置一个较低的标准。
这里我们使用熟悉的Scikit-Learn建模语法:首先创建模型，然后使用.fit训练模型，然后使用.predict_proba对测试数据进行预测(记住，我们想要的是概率而不是0或1)。

# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

from sklearn.preprocessing import MinMaxScaler
from sklearn.linear_model import LogisticRegression

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

train_labels = app_train['TARGET']

app_train = app_train.select_dtypes(['number'])
app_test = app_test.select_dtypes(['number'])

# 从训练数据中删除目标
if 'TARGET' in app_train:
    train = app_train.drop(columns=['TARGET'])
else:
    train = app_train.copy()

# 特征名称
features = list(train.columns)

# 复制测试集
test = app_test.copy()

# 缺失值的中值估算
imputer = SimpleImputer(strategy='median')

# 将每个特性缩放到0-1
scaler = MinMaxScaler(feature_range=(0, 1))

# 符合训练数据
imputer.fit(train)

# 转换训练和测试数据
train = imputer.transform(train)
test = imputer.transform(app_test)

# 重复的标量
scaler.fit(train)
train = scaler.transform(train)
test = scaler.transform(test)

# 使模型具有指定的正则化参数
log_reg = LogisticRegression(C = 0.0001)

# 训练训练集
print(log_reg.fit(train, train_labels))

image.png
既然这个模型已经被训练过了，我们就可以用它来做预测。我们想预测不还贷的概率，所以我们用模型预测。proba方法。这将返回一个mx2数组，其中m是观察数。第一列是目标的概率是0,第二列是目标的概率是1(对于单个行,两列总和必须为1)。我们希望概率不偿还贷款,所以我们将选择第二列。
下面的代码进行预测并选择正确的列。

  1. 作出预测
  2. 确保只选择第二列

预测必须采用sample_submission中显示的格式。csv文件，其中只有两个列:SK_ID_CURR和TARGET。我们将以这种格式从测试集和名为submit的预测中创建一个dafaframe。

# 导入基本处理模块
import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import os
import warnings
warnings.filterwarnings('ignore')
import matplotlib.pyplot as plt
import seaborn as sns

# 输入处理缺失值
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures

from sklearn.preprocessing import MinMaxScaler
from sklearn.linear_model import LogisticRegression

app_train = pd.read_csv('E:/home_credit_default_risk/application_train.csv')
app_test = pd.read_csv('E:/home_credit_default_risk/application_test.csv')

train_labels = app_train['TARGET']

app_train = app_train.select_dtypes(['number'])
app_test = app_test.select_dtypes(['number'])

# 从训练数据中删除目标
if 'TARGET' in app_train:
    train = app_train.drop(columns=['TARGET'])
else:
    train = app_train.copy()

# 特征名称
features = list(train.columns)

# 复制测试集
test = app_test.copy()

# 缺失值的中值估算
imputer = SimpleImputer(strategy='median')

# 将每个特性缩放到0-1
scaler = MinMaxScaler(feature_range=(0, 1))

# 符合训练数据
imputer.fit(train)

# 转换训练和测试数据
train = imputer.transform(train)
test = imputer.transform(app_test)

# 重复的标量
scaler.fit(train)
train = scaler.transform(train)
test = scaler.transform(test)

# 使模型具有指定的正则化参数
log_reg = LogisticRegression(C = 0.0001)

# 训练训练集
log_reg.fit(train, train_labels)

log_reg_pred = log_reg.predict_proba(test)[:, 1]

# 提交dafaframe
submit = app_test[['SK_ID_CURR']]
submit['TARGET'] = log_reg_pred

print(submit.head())

submit.to_csv('log_reg_baseline.csv', index = False)

因为我只选择了number类型的列，所以预测有一定的差异
image.png

只是甲
关注
专栏目录
kaggle-san-train-数据集
03-29
在实际应用中，"kaggle-san-train-数据集"可能被用于解决商业问题，比如客户行为预测、市场细分、风险评估等。数据科学家和机器学习工程师可以通过训练模型，为企业决策提供数据驱动的洞察，从而提高效率和利润。 ...
房屋信贷违约风险竞争(kaggle)系列1-数据源介绍
只是甲的博客
08-18 1125
python 数据分析 机器学习 kaggle 房贷信贷违约 数据源介绍
使用LogisticRegression和LightGBM模型对信贷违约进行预测----基于kaggle比赛数据
I_am_a_big_tiger的博客
06-07 1167
3.分离数值型变量与类别型变量，发现有些数值型变量因为输入不规范，比如数值中含有字符（28_,_10000_等）被划分为类别型变量 ，比如 'Age'，'Annual_Income'，'Num_of_Loan'， 'Num_of_Delayed_Payment', 'Changed_Credit_Limit','Credit_Mix','Monthly_Balance'， 'Outstanding_Debt' ,'Amount_invested_monthly'等。三、分箱，woe编码，计算IV值。
Kaggle数据集-贷款逾期预测
jkjgj的博客
01-29 3114
前段时间在Kaggle上找了一个银行商业数据集来做贷款预期预测的数据分析练习，本文是数据处理与分析预测的过程。
信贷违约风险评估预测-kaggle项目
Sun123234的博客
07-05 2564
房屋信贷违约风险评估预测-kaggle项目
(7-3-3)金融风险管理实战：制作信贷风控模型
最新发布
码农三叔
12-27 971
例如，我们可以创建变量EXT_SOURCE_1^2和EXT_SOURCE_2^2，以及变量EXT_SOURCE_1 x EXT_SOURCE_2、EXT_SOURCE_1 x EXT_SOURCE_2^2、EXT_SOURCE_1^2 x EXT_SOURCE_2^2等等。上述代码的功能是使用原始数据集中的一些特征（'EXT_SOURCE_1'，'EXT_SOURCE_2'，'EXT_SOURCE_3'，'DAYS_BIRTH'）创建多项式特征。最后，打印出多项式特征的形状，以检查新特征的维度。
Home Credit 违约风险 - Kaggle 竞赛
01-26
Home Credit 违约风险 - Kaggle 竞赛 https://www.kaggle.com/c/home-credit-default-risk/code 背景 在Kaggle Home Credit 违约风险竞赛中，参与者试图从应用程序、人口统计和历史信用行为数据中预测客户未来的支付...
kaggle-vinbigdata-chest-xray-abnormalities-detection
04-05
kaggle-vinbigdata-胸部X射线异常检测第91位解的代码。阅读其他语言的解决方案摘要： ， 代码概述准备数据集我的解决方案使用1024px调整大小的数据集。 您有两个选择。 下载原始数据集（约192 GB）并创建调整大小的...
Kaggle_competitions-
04-08
描述提到“回购可在其中找到我的解决Kaggle Competitions问题的解决方案”，这表明这个压缩包可能包含了一系列的代码、分析和模型，用于解决Kaggle比赛中的数据挑战。"回购"通常指的是在GitHub等开源平台上存储的...
kaggle-Click-Through-Rate-Prediction
06-26
总之，"kaggle-Click-Through-Rate-Prediction"项目提供了一个全面的平台，让我们运用Python进行数据预处理、特征工程、模型选择、训练、评估以及部署等一系列步骤，深入了解和实践CTR预测技术。通过这个项目，不仅...
贷款违约预测竞赛数据【Kaggle竞赛】.zip
06-29
贷款违约预测竞赛数据【Kaggle竞赛】.zip
贷款违约预测竞赛数据【Kaggle竞赛】数据集
07-05
贷款违约预测竞赛数据，是个人的金融交易数据，已经通过了标准化、匿名处理。包括200000样本的800个属性变量，每个样本之间互相独立。每个样本被标注为违约或未违约，如果是违约则同时标注损失，损失在0-100之间，意味着贷款的损失率。未违约的损失率为0，通过样本的属性变量值对个人贷款的违约损失进行预测建模。数据来自英国帝国理工大学。
房屋信贷违约风险竞争(kaggle)系列6-模型解释
只是甲的博客
08-24 496
python 数据分析 机器学习 kaggle 模型解释
房屋信贷违约风险竞争(kaggle)系列2-数据清理和格式化
只是甲的博客
08-18 439
python 数据分析 机器学习 EDA 数据处理 探索性分析
机器学习 - 特征工程 - 构造多项式特征Polynomial Features
Reikooo
10-17 6142
简介： 特征工程包括特征构建和特征挑选，个人对特征构建的兴趣要大一些，因为在实际项目当中我们往往会发现创造有用的特征比苦苦改进算法的回报率会高很多. 这篇博客想作为构造多项式特征的一个笔记，构建多项式特征是常见的构建新特征的方法之一. 在统计模型当中被广泛用于探索复合变量对y的影响，在机器学习项目当中并不像统计模型那样频繁使用，但我们依然可以用来探索一些我们认为可能会有帮助的变量.  定义： ...
Kaggle项目：信用贷款欺诈检测
Leorio Paladinight的博客
06-09 2632
对信用贷款数据集进行清理和探索性数据分析（Exploratory Data Analysis），并尝试预测信用欺诈。
实战六：kaggle实战之信用卡欺诈检测
超级圈的博客
07-30 8577
一、案例背景 数据说明：这一份数据是信用卡的消费使用数据，里面的相关数据特征已经经过了处理，我们通过逻辑回归来预测信用卡异常的数据。 观察数据： import pandas as pd import numpy as np import matplotlib.pyplot as plt data = pd.read_csv('./creditcard.csv') print(data.he...
财政冲击平滑、调节效应（交互项）、税收改革、机制分析
Triumph19的博客
05-01 1159
基准回归模型 Net National Income (NI),Disposable National Income (DNI) 回顾经济模型中对数函数的常见用法 （参考伍德里奇《计量经济学导论》page604~605）.对数可用于计量经济学应用中的各种近似计算。首先，对于，有.你不妨用试试看这个近似计算的质量随着变大而恶化。一个更为有用的性质是，两对数之差可用作比例变化的近似值。令和为两个正数，可以证明（利用微积分），对的微小变化，有 最后的结果表示的是一个变化率。所以借鉴这个推导过程，,
Kaggle竞赛——桑坦德银行客户满意度预测（四）
Cloud_Flow的博客
01-18 1315
kaggle竞赛——桑坦德银行客户满意度预测
kaggle房价预测-回归模型
08-12
回答: 在kaggle房价预测的回归模型中，使用了Lasso回归模型进行预测。代码中首先使用了Lasso(alpha=0.0001)进行模型的训练，然后对测试集进行预测得到了lasso_predict。接着使用了np.expm1函数对预测结果进行了反向...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值