风控-特征工程

最新推荐文章于 2023-09-16 15:41:44 发布
最新推荐文章于 2023-09-16 15:41:44 发布
阅读量333 收藏
点赞数
分类专栏： 机器学习实战 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abc360605383/article/details/108718519
版权

1 学习目标

  • 学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法

  • 学习特征交互、编码、选择的相应方法

2 内容介绍

  • 数据预处理

    • 缺失值的填充
    • 时间格式处理
    • 对象类型特征转换到数值

  • 异常值处理

    • 基于3segama原则
    • 基于箱型图

  • 数据分箱

    • 固定宽度分箱
    • 分位数分箱
      • 离散数值型数据分箱
      • 连续数值型数据分箱
    • 卡方分箱（选做作业）

  • 特征交互

    • 特征和特征之间组合
    • 特征和特征之间衍生
    • 其他特征衍生的尝试（选做作业）

  • 特征编码

    • one-hot编码
    • label-encode编码

  • 特征选择

    • 1 Filter
    • 2 Wrapper （RFE）
    • 3 Embedded

3 代码

3.1 导入相关包

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import datetime
from tqdm import tqdm
from sklearn.preprocessing import LabelEncoder
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.preprocessing import MinMaxScaler
import xgboost as xgb
import lightgbm as lgb
from catboost import CatBoostRegressor
import warnings
from sklearn.model_selection import StratifiedKFold, KFold
from sklearn.metrics import accuracy_score, f1_score, roc_auc_score, log_loss
warnings.filterwarnings('ignore')

data_train = pd.read_csv('train.csv')
data_test_a = pd.read_csv('testA.csv')

data_train[:3]
idloanAmntterminterestRateinstallmentgradesubGradeemploymentTitleemploymentLengthhomeOwnership...n5n6n7n8n9n10n11n12n13n14
0035000.0519.52917.97EE2320.02 years2...9.08.04.012.02.07.00.00.00.02.0
1118000.0518.49461.90DD2219843.05 years0...NaNNaNNaNNaNNaN13.0NaNNaNNaNNaN
2212000.0516.99298.17DD331698.08 years0...0.021.04.05.03.011.00.00.00.04.0

3 rows × 47 columns

3.2 特征预处理

  • 这里介绍了数据缺失值的填充，时间格式特征的转化处理，某些对象类别特征的处理。
  • 数据预处理是必不可少的一部分，对于缺失值的填充往往会影响结果，在比赛中不妨尝试多种填充然后比较结果选择结果最优的一种； 比赛数据相比真实场景的数据相对要“干净”一些，但是还是会有一定的“脏”数据存在，清洗一些异常值往往会获得意想不到的效果。

缺失值填充

  • 把所有缺失值指定为0

    data_train = data_train.fillna(0)

  • 向用缺失值上面的值替换缺失值

    data_train = data_train.fillna(axis=0,method=‘ffill’)

  • 纵向用缺失值下面的值替换缺失值,且设置最多只填充两个连续的缺失值

    data_train = data_train.fillna(axis=0,method=‘bfill’,limit=2)

#首先我们查找出数据中的对象特征和数值特征
numerical_fea = list(data_train.select_dtypes(exclude=['object']).columns)
category_fea = list(filter(lambda x: x not in numerical_fea,list(data_train.columns)))
label = 'isDefault'
numerical_fea.remove(label)

#查看缺失值情况
data_train.isnull().sum()

id                        0
loanAmnt                  0
term                      0
interestRate              0
installment               0
grade                     0
subGrade                  0
employmentTitle           1
employmentLength      46799
homeOwnership             0
annualIncome              0
verificationStatus        0
issueDate                 0
isDefault                 0
purpose                   0
postCode                  1
regionCode                0
dti                     239
delinquency_2years        0
ficoRangeLow              0
ficoRangeHigh             0
openAcc                   0
pubRec                    0
pubRecBankruptcies      405
revolBal                  0
revolUtil               531
totalAcc                  0
initialListStatus         0
applicationType           0
earliesCreditLine         0
title                     1
policyCode                0
n0                    40270
n1                    40270
n2                    40270
n3                    40270
n4                    33239
n5                    40270
n6                    40270
n7                    40270
n8                    40271
n9                    40270
n10                   33239
n11                   69752
n12                   40270
n13                   40270
n14                   40270
dtype: int64

# 按照平均数填充数值型特征
data_train[numerical_fea] = data_train[numerical_fea].fillna(data_train[numerical_fea].median())
data_test_a[numerical_fea] = data_test_a[numerical_fea].fillna(data_train[numerical_fea].median())
#按照众数填充类别型特征
data_train[category_fea] = data_train[category_fea].fillna(data_train[category_fea].mode())
data_test_a[category_fea] = data_test_a[category_fea].fillna(data_train[category_fea].mode())
#观察此时的总体情况
data_train.isnull().sum()

id                        0
loanAmnt                  0
term                      0
interestRate              0
installment               0
grade                     0
subGrade                  0
employmentTitle           0
employmentLength      46799
homeOwnership             0
annualIncome              0
verificationStatus        0
issueDate                 0
isDefault                 0
purpose                   0
postCode                  0
regionCode                0
dti                       0
delinquency_2years        0
ficoRangeLow              0
ficoRangeHigh             0
openAcc                   0
pubRec                    0
pubRecBankruptcies        0
revolBal                  0
revolUtil                 0
totalAcc                  0
initialListStatus         0
applicationType           0
earliesCreditLine         0
title                     0
policyCode                0
n0                        0
n1                        0
n2                        0
n3                        0
n4                        0
n5                        0
n6                        0
n7                        0
n8                        0
n9                        0
n10                       0
n11                       0
n12                       0
n13                       0
n14                       0
dtype: int64

category_fea：对象型类别特征需要进行预处理，其中[‘issueDate’]为时间格式特征。

#查看类别特征  
category_fea

['grade', 'subGrade', 'employmentLength', 'issueDate', 'earliesCreditLine']

时间格式处理

data_train['issueDate']
data_test_a['issueDate'][0:4]

0    2014-07-01
1    2015-07-01
2    2016-10-01
3    2014-11-01
Name: issueDate, dtype: object

#转化时间格式  
for data in [data_train,data_test_a]:
    data['issueDate'] = pd.to_datetime(data['issueDate'],format='%Y-%m-%d')
    startdate = datetime.datetime.strptime('2007-06-01', '%Y-%m-%d')
    # 构造时间特征
    data['issueDateDT'] = data['issueDate'].apply(lambda x:x-startdate).dt.days
补充：pandas.series.dt.days

比如x=‘1998-10-19’

x.dt.days=19

x.dt.year=1998

data['issueDate']

0        2014-07-01
1        2015-07-01
2        2016-10-01
3        2014-11-01
4        2017-10-01
            ...    
199995   2012-10-01
199996   2015-10-01
199997   2013-07-01
199998   2017-10-01
199999   2015-02-01
Name: issueDate, Length: 200000, dtype: datetime64[ns]

data['issueDateDT']

0         2587
1         2952
2         3410
3         2710
4         3775
          ... 
199995    1949
199996    3044
199997    2222
199998    3775
199999    2802
Name: issueDateDT, Length: 200000, dtype: int64

对象类型特征

data_train['employmentLength'].value_counts(dropna = False).sort_index()
#由于存在对象特征的缺失值，我们要对其处理。

1 year        52489
10+ years    262753
2 years       72358
3 years       64152
4 years       47985
5 years       50102
6 years       37254
7 years       35407
8 years       36192
9 years       30272
< 1 year      64237
NaN           46799
Name: employmentLength, dtype: int64

#对象类型特征转换为数值

def employmentLength_to_int(s):
    if pd.isnull(s):
        return s
    else:
        return np.int8(s.split()[0])
for data in [data_train,data_test_a]:
    data['employmentLength'].replace(to_replace='10+ years',value = '10 years',inplace=True)
    data['employmentLength'].replace('< 1 year','0 years',inplace=True)
    data['employmentLength']=data['employmentLength'].apply(employmentLength_to_int)

data['employmentLength'].value_counts(dropna=False).sort_index()

0.0     15989
1.0     13182
2.0     18207
3.0     16011
4.0     11833
5.0     12543
6.0      9328
7.0      8823
8.0      8976
9.0      7594
10.0    65772
NaN     11742
Name: employmentLength, dtype: int64

data_train['earliesCreditLine'].sample(5)

386570    Aug-2013
130745    Aug-1990
401385    Nov-1986
501168    May-1977
712458    Oct-2000
Name: earliesCreditLine, dtype: object

for data in [data_train, data_test_a]:
    data['earliesCreditLine'] = data['earliesCreditLine'].apply(lambda s: int(s[-4:]))
#这个代码不能运行第二次，具体原因我还未知。会报错：'int' object is not subscriptable

类别特征处理

# 部分类别特征
cate_features = ['grade', 'subGrade', 'employmentTitle', 'homeOwnership', 'verificationStatus', 'purpose', 'postCode', 'regionCode', \
                 'applicationType', 'initialListStatus', 'title', 'policyCode']
for f in cate_features:
    print(f, '类型数：', data[f].nunique())

grade 类型数： 7
subGrade 类型数： 35
employmentTitle 类型数： 79282
homeOwnership 类型数： 6
verificationStatus 类型数： 3
purpose 类型数： 14
postCode 类型数： 889
regionCode 类型数： 51
applicationType 类型数： 2
initialListStatus 类型数： 2
title 类型数： 12058
policyCode 类型数： 1

#像等级这种类别特征，是有优先级的可以labelencode或者自映射
for data in [data_train, data_test_a]:
    data['grade'] = data['grade'].map({'A':1,'B':2,'C':3,'D':4,'E':5,'F':6,'G':7})

# 类型数在2之上，又不是高维稀疏的,且纯分类特征
for data in [data_train, data_test_a]:
    data = pd.get_dummies(data, columns=['subGrade', 'homeOwnership', 'verificationStatus', 'purpose', 'regionCode'], drop_first=True)
补充

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L7paT8Bk-1600691894263)(attachment:image.png)]

小结：

  • 对不同类型的缺失值要分类进行处理，处理的方式也不同。
  • 类别特征和对象类型特征要转化成数值，处理方式也有多种选择。

3.3 异常值处理

  • 当你发现异常值后，一定要先分清是什么原因导致的异常值，然后再考虑如何处理。首先，如果这一异常值并不代表一种规律性的，而是极其偶然的现象，或者说你并不想研究这种偶然的现象，这时可以将其删除。其次，如果异常值存在且代表了一种真实存在的现象，那就不能随便删除。在现有的欺诈场景中很多时候欺诈数据本身相对于正常数据勒说就是异常的，我们要把这些异常点纳入，重新拟合模型，研究其规律。能用监督的用监督模型，不能用的还可以考虑用异常检测的算法来做。
  • 注意test的数据不能删。

检测异常的方法一：均方差

在统计学中，如果一个数据分布近似正态，那么大约 68% 的数据值会在均值的一个标准差范围内，大约 95% 会在两个标准差范围内，大约 99.7% 会在三个标准差范围内。

def find_outliers_by_3segama(data,fea):
    data_std = np.std(data[fea])
    data_mean = np.mean(data[fea])
    outliers_cut_off = data_std * 3
    lower_rule = data_mean - outliers_cut_off
    upper_rule = data_mean + outliers_cut_off
    data[fea+'_outliers'] = data[fea].apply(lambda x:str('异常值') if x > upper_rule or x < lower_rule else '正常值')
    return data

#得到特征的异常值后可以进一步分析变量异常值和目标变量的关系
data_train = data_train.copy()
for fea in numerical_fea:
    data_train = find_outliers_by_3segama(data_train,fea)
    print(data_train[fea+'_outliers'].value_counts())
    print(data_train.groupby(fea+'_outliers')['isDefault'].sum())
    print('*'*10)

正常值    800000
Name: id_outliers, dtype: int64
id_outliers
正常值    159610
Name: isDefault, dtype: int64
**********
正常值    800000
Name: loanAmnt_outliers, dtype: int64
loanAmnt_outliers
正常值    159610
Name: isDefault, dtype: int64
**********
正常值    800000
Name: term_outliers, dtype: int64
term_outliers
正常值    159610
Name: isDefault, dtype: int64
**********
正常值    794259
异常值      5741
Name: interestRate_outliers, dtype: int64
interestRate_outliers
异常值      2916
正常值    156694
Name: isDefault, dtype: int64
**********
正常值    792046
异常值      7954
Name: installment_outliers, dtype: int64
installment_outliers
异常值      2152
正常值    157458
Name: isDefault, dtype: int64
**********
正常值    800000
Name: employmentTitle_outliers, dtype: int64
employmentTitle_outliers
正常值    159610
Name: isDefault, dtype: int64
**********
正常值    799701
异常值       299
Name: homeOwnership_outliers, dtype: int64
homeOwnership_outliers
异常值        62
正常值    159548
Name: isDefault, dtype: int64
**********
正常值    793973
异常值      6027
Name: annualIncome_outliers, dtype: int64
annualIncome_outliers
异常值       756
正常值    158854
Name: isDefault, dtype: int64
**********
正常值    800000
Name: verificationStatus_outliers, dtype: int64
verificationStatus_outliers
正常值    159610
Name: isDefault, dtype: int64
**********
正常值    783003
异常值     16997
Name: purpose_outliers, dtype: int64
purpose_outliers
异常值      3635
正常值    155975
Name: isDefault, dtype: int64
**********
正常值    798931
异常值      1069
Name: postCode_outliers, dtype: int64
postCode_outliers
异常值       221
正常值    159389
Name: isDefault, dtype: int64
**********
正常值    799994
异常值         6
Name: regionCode_outliers, dtype: int64
regionCode_outliers
异常值         1
正常值    159609
Name: isDefault, dtype: int64
**********
正常值    798440
异常值      1560
Name: dti_outliers, dtype: int64
dti_outliers
异常值       466
正常值    159144
Name: isDefault, dtype: int64
**********
正常值    778245
异常值     21755
Name: delinquency_2years_outliers, dtype: int64
delinquency_2years_outliers
异常值      5089
正常值    154521
Name: isDefault, dtype: int64
**********
正常值    788261
异常值     11739
Name: ficoRangeLow_outliers, dtype: int64
ficoRangeLow_outliers
异常值       778
正常值    158832
Name: isDefault, dtype: int64
**********
正常值    788261
异常值     11739
Name: ficoRangeHigh_outliers, dtype: int64
ficoRangeHigh_outliers
异常值       778
正常值    158832
Name: isDefault, dtype: int64
**********
正常值    790889
异常值      9111
Name: openAcc_outliers, dtype: int64
openAcc_outliers
异常值      2195
正常值    157415
Name: isDefault, dtype: int64
**********
正常值    792471
异常值      7529
Name: pubRec_outliers, dtype: int64
pubRec_outliers
异常值      1701
正常值    157909
Name: isDefault, dtype: int64
**********
正常值    794120
异常值      5880
Name: pubRecBankruptcies_outliers, dtype: int64
pubRecBankruptcies_outliers
异常值      1423
正常值    158187
Name: isDefault, dtype: int64
**********
正常值    790001
异常值      9999
Name: revolBal_outliers, dtype: int64
revolBal_outliers
异常值      1359
正常值    158251
Name: isDefault, dtype: int64
**********
正常值    799948
异常值        52
Name: revolUtil_outliers, dtype: int64
revolUtil_outliers
异常值        23
正常值    159587
Name: isDefault, dtype: int64
**********
正常值    791663
异常值      8337
Name: totalAcc_outliers, dtype: int64
totalAcc_outliers
异常值      1668
正常值    157942
Name: isDefault, dtype: int64
**********
正常值    800000
Name: initialListStatus_outliers, dtype: int64
initialListStatus_outliers
正常值    159610
Name: isDefault, dtype: int64
**********
正常值    784586
异常值     15414
Name: applicationType_outliers, dtype: int64
applicationType_outliers
异常值      3875
正常值    155735
Name: isDefault, dtype: int64
**********
正常值    775134
异常值     24866
Name: title_outliers, dtype: int64
title_outliers
异常值      3900
正常值    155710
Name: isDefault, dtype: int64
**********
正常值    800000
Name: policyCode_outliers, dtype: int64
policyCode_outliers
正常值    159610
Name: isDefault, dtype: int64
**********
正常值    782773
异常值     17227
Name: n0_outliers, dtype: int64
n0_outliers
异常值      3485
正常值    156125
Name: isDefault, dtype: int64
**********
正常值    790500
异常值      9500
Name: n1_outliers, dtype: int64
n1_outliers
异常值      2491
正常值    157119
Name: isDefault, dtype: int64
**********
正常值    789067
异常值     10933
Name: n2_outliers, dtype: int64
n2_outliers
异常值      3205
正常值    156405
Name: isDefault, dtype: int64
**********
正常值    789067
异常值     10933
Name: n3_outliers, dtype: int64
n3_outliers
异常值      3205
正常值    156405
Name: isDefault, dtype: int64
**********
正常值    788660
异常值     11340
Name: n4_outliers, dtype: int64
n4_outliers
异常值      2476
正常值    157134
Name: isDefault, dtype: int64
**********
正常值    790355
异常值      9645
Name: n5_outliers, dtype: int64
n5_outliers
异常值      1858
正常值    157752
Name: isDefault, dtype: int64
**********
正常值    786006
异常值     13994
Name: n6_outliers, dtype: int64
n6_outliers
异常值      3182
正常值    156428
Name: isDefault, dtype: int64
**********
正常值    788430
异常值     11570
Name: n7_outliers, dtype: int64
n7_outliers
异常值      2746
正常值    156864
Name: isDefault, dtype: int64
**********
正常值    789625
异常值     10375
Name: n8_outliers, dtype: int64
n8_outliers
异常值      2131
正常值    157479
Name: isDefault, dtype: int64
**********
正常值    786384
异常值     13616
Name: n9_outliers, dtype: int64
n9_outliers
异常值      3953
正常值    155657
Name: isDefault, dtype: int64
**********
正常值    788979
异常值     11021
Name: n10_outliers, dtype: int64
n10_outliers
异常值      2639
正常值    156971
Name: isDefault, dtype: int64
**********
正常值    799434
异常值       566
Name: n11_outliers, dtype: int64
n11_outliers
异常值       112
正常值    159498
Name: isDefault, dtype: int64
**********
正常值    797585
异常值      2415
Name: n12_outliers, dtype: int64
n12_outliers
异常值       545
正常值    159065
Name: isDefault, dtype: int64
**********
正常值    788907
异常值     11093
Name: n13_outliers, dtype: int64
n13_outliers
异常值      2482
正常值    157128
Name: isDefault, dtype: int64
**********
正常值    788884
异常值     11116
Name: n14_outliers, dtype: int64
n14_outliers
异常值      3364
正常值    156246
Name: isDefault, dtype: int64
**********

检测异常的方法二：箱型图（后续补充）

  • 总结一句话：四分位数会将数据分为三个点和四个区间，IQR = Q3 -Q1，下触须=Q1 − 1.5x IQR，上触须=Q3 + 1.5x IQR；

3.4 数据分桶

  • 特征分箱的目的：
    • 从模型效果上来看，特征分箱主要是为了降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定。
  • 数据分桶的对象：
    • 将连续变量离散化
    • 将多状态的离散变量合并成少状态
  • 分箱的原因：
    • 数据的特征内的值跨度可能比较大，对有监督和无监督中如k-均值聚类它使用欧氏距离作为相似度函数来测量数据点之间的相似度。都会造成大吃小的影响，其中一种解决方法是对计数值进行区间量化即数据分桶也叫做数据分箱，然后使用量化后的结果。
  • 分箱的优点：
    • 处理缺失值：当数据源可能存在缺失值，此时可以把null单独作为一个分箱。
    • 处理异常值：当数据中存在离群点时，可以把其通过分箱离散化处理，从而提高变量的鲁棒性（抗干扰能力）。例如，age若出现200这种异常值，可分入“age > 60”这个分箱里，排除影响。
    • 业务解释性：我们习惯于线性判断变量的作用，当x越来越大，y就越来越大。但实际x与y之间经常存在着非线性关系，此时可经过WOE变换
  • 特别要注意一下分箱的基本原则：
    • 最小分箱占比不低于5%
    • 箱内不能全部是好客户
    • 连续箱单调

1 固定宽度分箱

当数值横跨多个数量级时，最好按照 10 的幂（或任何常数的幂）来进行分组：09、99、999、9999，等等。固定宽度分箱非常容易计算，但如果计数值中有比较大的缺口，就会产生很多没有任何数据的空箱子。

# 通过除法映射到间隔均匀的分箱中，每个分箱的取值范围都是loanAmnt/1000
data['loanAmnt_bin1'] = np.floor_divide(data['loanAmnt'], 1000)

## 通过对数函数映射到指数宽度分箱
data['loanAmnt_bin2'] = np.floor(np.log10(data['loanAmnt']))

2 分位数分箱

data['loanAmnt_bin3'] = pd.qcut(data['loanAmnt'], 10, labels=False)

3 卡方分箱及其他分箱方法的尝试

3.5 特征交互

  • 交互特征的构造非常简单，使用起来却代价不菲。如果线性模型中包含有交互特征对，那它的训练时间和评分时间就会从 O(n) 增加到 O(n2)，其中 n 是单一特征的数量。
for col in ['grade', 'subGrade']: 
    temp_dict = data_train.groupby([col])['isDefault'].agg(['mean']).reset_index().rename(columns={'mean': col + '_target_mean'})
    temp_dict.index = temp_dict[col].values
    temp_dict = temp_dict[col + '_target_mean'].to_dict()

    data_train[col + '_target_mean'] = data_train[col].map(temp_dict)
    data_test_a[col + '_target_mean'] = data_test_a[col].map(temp_dict)

# 其他衍生变量 mean 和 std
for df in [data_train, data_test_a]:
    for item in ['n0','n1','n2','n3','n4','n5','n6','n7','n8','n9','n10','n11','n12','n13','n14']:
        df['grade_to_mean_' + item] = df['grade'] / df.groupby([item])['grade'].transform('mean')
        df['grade_to_std_' + item] = df['grade'] / df.groupby([item])['grade'].transform('std')

3.6 特征编码

labelEncode 直接放入树模型中

#label-encode:subGrade,postCode,title
# 高维类别特征需要进行转换
for col in tqdm(['employmentTitle', 'postCode', 'title','subGrade']):
    le = LabelEncoder()
    le.fit(list(data_train[col].astype(str).values) + list(data_test_a[col].astype(str).values))
    data_train[col] = le.transform(list(data_train[col].astype(str).values))
    data_test_a[col] = le.transform(list(data_test_a[col].astype(str).values))
print('Label Encoding 完成')

100%|████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:05<00:00,  1.47s/it]

Label Encoding 完成

逻辑回归等模型要单独增加的特征工程

  • 对特征做归一化，去除相关性高的特征
  • 归一化目的是让训练过程更好更快的收敛，避免特征大吃小的问题
  • 去除相关性是增加模型的可解释性，加快预测过程。

3.7 特征选择

  • 特征选择技术可以精简掉无用的特征，以降低最终模型的复杂性，它的最终目的是得到一个简约模型，在不降低预测准确率或对预测准确率影响不大的情况下提高计算速度。特征选择不是为了减少训练时间（实际上，一些技术会增加总体训练时间），而是为了减少模型评分时间。

特征选择的方法：

  • Filter

    • 方差选择法
    • 相关系数法（pearson 相关系数）
    • 卡方检验
    • 互信息法

  • Wrapper （RFE）递归特征消除法

  • Embedded

    • 基于惩罚项的特征选择法
    • 基于树模型的特征选择

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

学机器学习的机械工程师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
imu 里程计融合_多传感器融合 RLINS概述
weixin_28676973的博客
12-24 471
来源|知乎@yc zhang、当SLAM遇见小王同知圈 |进“汽车HMI社群”请加微信15221054164，备注HMI在大规模场景下的地图构建时候，纯激光雷达传感器无法很好的完成地图构建工作，这时需要考虑使用不同的传感器，获取多种数据来进行传感器的融合，实现位姿的矫正，最终完成复杂大规模场景下的地图构建，这种方法也被称之为多传感器融合。本篇文章要讲述的是发表在ICRA2020上的...
天池项目——二手车预测（一）
liuxingxing_sun的博客
04-15 488
origin from: datawhale 文章目录Baseline数据分析特征工程 Baseline 数据分析 特征工程
金融风控-贷款违约预测-task3 特征工程
边缘的博客
09-21 1279
1. 特征工程概述 特征工程，是指用一系列工程化的方式从原始数据中筛选出更好的数据特征，以提升模型的训练效果。业内有一句广为流传的话是：数据和特征决定了机器学习的上限，而模型和算法是在逼近这个上限而已。由此可见，好的数据和特征是模型和算法发挥更大的作用的前提。特征工程通常包括数据预处理、特征选择、降维等环节。 2. 内容 首先导入相关包 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn
数据融合kf_多源传感器融合
weixin_35508482的博客
12-14 500
（完善中～）现实生活中的很多问题依赖于单一信号源往往很难解决。而目前各种传感器的日益普及使我们可以从中获取更多的信息。随着移动设备和无人驾驶技术的不断发展，多种传感器数据的融合处理方法也变得越来越重要。在很多其它文章中，传感器融合技术一般作为自动驾驶的一部分来介绍。而本系列文章将争取从更广的范围来讨论这个问题，其中包含自动驾驶、室内移动机器人等多个领域。而这里的传感器融合方法可以看作是信息融合的子...
天池_二手车价格预测_Task4_建模调参
12-20
目录:keycap_0: 前言:keycap_0:.:keycap_1: 赛题重述:keycap_0:.:keycap_2: 数据集概述:keycap_1: 数据处理:keycap_2: 线性回归:keycap_2:.:keycap_1: 简单建模:keycap_2:.:keycap_2: 处理长尾分布:keycap_3: 五折交叉验证¶（`cross_val_score`）:keycap_3:.:keycap_1: `cross_val_score`相应函数的应用:keycap_3:.:keycap_2: 考虑真实世界限制:keycap_3:.:keycap_3: 绘制学习率曲线与验证曲线¶:keycap_4: 多种模型对比:keycap_4:.:keycap_1: 线性模型 & 嵌入式特征选择:keycap_4:.:keycap_1:.:keycap_1: `LinearRegression`，`Ridge`，`Lasso`方法的运行:keycap_4:.:keycap_1:.:keycap_2: 三种方法的对比:keycap_4:.:keycap_2: 非线性模型:keycap_
风控“魔镜杯”---特征工程.zip
06-21
在现代金融科技中，特征工程是风控模型构建的核心步骤之一，它涉及到从原始数据中提炼出有助于风险预测的有意义特征。"风控“魔镜杯”---特征工程.zip"这个压缩包文件很可能是一个关于风控比赛或者研讨会的资料集，...
金融风控-数据集
03-19
这包括数据清洗（处理缺失值、异常值、重复值），特征工程（创建新的预测变量，如客户的信用评分、债务比率等），以及特征选择（确定对目标变量影响最大的特征）。此外，对于不平衡数据集（如欺诈案例远少于正常交易...
04_账号风控-从从被忽悠到会忽悠(小米_徐炳镇).pdf
08-21
综上所述，账户风控是一项复杂而全面的工作，涉及数据收集、特征工程、模型训练和实时监控等多个方面，它不仅保护了企业的经济利益，也维护了用户的个人信息安全，是现代互联网安全体系不可或缺的一部分。...
账号风控-从忽悠到被忽悠.zip
11-04
这可能包括了反欺诈策略，如IP地址分析、设备指纹识别、行为生物特征分析等，以识别不寻常的登录、交易或操作。 3. **安全策略**：资料可能详细讲解了各种账户安全策略，如多因素认证（MFA）、密码复杂度要求、登录...
人工智能与内容安全风控-1-5 特征平台在数禾的建设与应用.zip
05-30
在这个主题中，我们将深入探讨如何构建一个高效、稳定且具有高预测能力的特征工程平台，并将其应用于金融行业的风险管理。 首先，特征平台是人工智能模型训练的核心，它负责管理和提供模型所需的大量特征数据。特征...
pytorch回归实战--基于阿里天池二手车售价预测
weixin_41613259的博客
05-14 1613
这次是学了这么长时间的pytorch想用一下，找了阿里天池的二手车数据竞赛。这里给一个基本版的结果。应该能做到500分，后面换一些特征和随机森林融合的话大概能做的400。 参考了论坛里的数据处理方法。 Datawhale 零基础入门数据挖掘-Task3 特征工程 一、数据清洗 首先导入包 import warnings warnings.filterwarnings('ignore') import pandas as pd import numpy as np import matplotlib.pyp
零基础入门金融风控-贷款违约预测-Task2 探索性数据分析（EDA）
OOzhao的博客
09-18 548
零基础入门金融风控-贷款违约预测探索性数据分析（EDA）具体操作1.引入库2.读入数据3.查看数据整体情况4.查看缺失值、唯一值、异常值、重复值5.深入数据，查看数据类型6.数据间相关关系 赛题链接地址 进度安排 探索性数据分析（EDA） 探索性数据分析（Exploratory Data Analysis，EDA）主要的工作是：对数据进行清洗，对数据进行描述（描述统计量，图表），查看数据的分布，比较数据之间的关系，培养对数据的直觉，对数据进行总结等。 维度名称及含义： id 为贷款清单分配的唯一信用证
datawhale学习-算法入门与数组篇
qq_73954586的博客
09-10 379
数据结构是程序的骨架，而算法则是程序的灵魂。本文梳理了在datawhale 01~02天学习到的数据结构与算法的入门知识，结合一些对应python中的代码的分析与解答，希望帮助大家入门数据结构及算法。
【Datawhale课程笔记-简单学点大模型】模型架构
最新发布
JeffDing
09-16 315
与仅仅根据频率进行拆分不同，一个更“有原则”的方法是定义一个目标函数来捕捉一个好的分词的特征，这种基于目标函数的分词模型可以适应更好分词场景，Unigram model就是基于这种动机提出的。您可能已经注意到，根据定义，标记的嵌入不依赖于其在序列中的位置，因此两个句子中的𝗆𝗈𝗎𝗌𝖾将具有相同的嵌入，从而在句子位置的角度忽略了上下文的信息，这是不合理的。然而，自然语言并不是以标记序列的形式出现，而是以字符串的形式存在（具体来说，是Unicode字符的序列），比如上面的序列的自然语言为“
Datawhale数据分析课程第二章
miaochangq的博客
08-20 1467
Datawhale数据分析课程第二章准备工作数据清洗及特征处理相关定义缺失值观察与处理任务一：缺失值观察(1) 请查看每个特征缺失值个数(2) 请查看Age， Cabin， Embarked列的数据 以上方式都有多种方式，所以大家多多益善任务二：对缺失值进行处理(1)处理缺失值一般有几种思路(2) 请尝试对Age列的数据的缺失值进行处理(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理重复值观察与处理任务一：请查看数据中的重复值任务二：对重复值进行处理(1)重复值有哪些处理方式呢？(2)处理我们数据的
Haar特征计算过程【DataWhale学习记录】
m0_38052500的博客
07-01 2909
0 前言 本文重点在于对4 haar特征值的一般性计算过程、5 Haar的分类过程 进行了详细的介绍，也是比较有意思的部分。 但是由于本人水平有限，关于“利用并查集 合并 检测结果窗口”并没有得到介绍。 1 人脸检测的方法分类 目前人脸检测的方法主要有两大类：基于知识和基于统计。 基于知识的方法：主要利用先验知识将人脸看作器官特征的组合，根据眼睛、眉毛、嘴巴、鼻子等器官的特征以及相互之间的几何位置关系来检测人脸。主要包括模板匹配、人脸特征、形状与边缘、纹理特性、颜色特征等方法。 基于统计的方法：将人脸看作一
零基础入门金融风控 Task2 数据分析
Rock_y的博客
09-16 773
文章目录1 导入数据分析及可视化过程需要的库2 读取文件3 总体了解4 查看数据集中特征缺失值，唯一值等总结：5 查看特征的数值类型有哪些，对象类型有哪些总结：6 变量分布可视化根据y值不同可视化x某个特征的分布6 时间格式数据处理及查看7 掌握透视图可以让我们更好的了解数据8 用pandas_profiling生成数据报告总结 此部分为零基础入门金融风控的 Task2 数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。 赛题：零基础入门数据挖掘 - 零基础入门金融风控之
风控建模九：一些特征工程方法及自动化工具小结
baidu_39413110的博客
04-06 2909
风控建模九：一些特征工程方法及自动化工具小结
金融风控中的自动化特征工程应用
自动化特征工程在金融领域的应用，不仅提高了风控效率，也增强了金融机构对实时风险的应对能力。通过智能化手段，金融企业可以更好地进行客户精准识别，确保新业务模型的快速构建，并有效应对各类风险挑战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值