【飞桨学习赛：MarTech Challenge 点击反欺诈预测】第10名

已于 2023-01-17 15:47:23 修改
阅读量265 收藏
点赞数
文章标签： paddlepaddle 学习 python
于 2023-01-14 12:41:32 首次发布
原文链接：https://aistudio.baidu.com/aistudio/projectdetail/5324624
版权

★★★ 本文源自AI Studio社区精品项目，【点击此处】查看更多精品内容 >>>

#best版本-89.1093分数
import pandas as pd
import warnings
warnings.filterwarnings('ignore')

# 数据加载和去除Unnameed字段
train = pd.read_csv('./train.csv')
test = pd.read_csv('./test1.csv')
train = train.iloc[:, 1:]
test = test.iloc[:,1:]
res = pd.DataFrame(test['sid'])

# 去除数据探索发现问题的字段
col = train.columns.tolist()
remove_list = ['lan', 'os','label', 'sid']
for i in remove_list:
    col.remove(i)
features = train[col]
test_features = test[col]

# 对osv进行数据清洗
def osv_trans(x):
    x = str(x).replace('Android_', '').replace('Android ', '').replace('W', '')
    if str(x).find('.')>0:
        temp_index1 = x.find('.')
        if x.find(' ')>0:
            temp_index2 = x.find(' ')
        else:
            temp_index2 = len(x)
 
        if x.find('-')>0:
            temp_index2 = x.find('-')
            
        result = x[0:temp_index1] + '.' + x[temp_index1+1:temp_index2].replace('.', '')
        try:
            return float(result)
        except:
            print('有错误: '+x)
            return 0
    try:
        return float(x)
    except:
        print('有错误: '+x)
        return 0
features['osv'].fillna('8.1.0', inplace=True)
features['osv'] = features['osv'].apply(osv_trans)
test_features['osv'].fillna('8.1.0', inplace=True)
test_features['osv'] = test_features['osv'].apply(osv_trans)

# 对timestamp进行数据清洗与特征变换,
from datetime import datetime
features['timestamp'] = features['timestamp'].apply(lambda x: datetime.fromtimestamp(x/1000))
test_features['timestamp'] = test_features['timestamp'].apply(lambda x: datetime.fromtimestamp(x/1000))
temp = pd.DatetimeIndex(features['timestamp'])
features['year'] = temp.year
features['month'] = temp.month
features['day'] = temp.day
features['hour'] = temp.hour
features['minute'] = temp.minute
features['week_day'] = temp.weekday #星期几
start_time = features['timestamp'].min()
features['time_diff'] = features['timestamp'] - start_time
features['time_diff'] = features['time_diff'].dt.days + features['time_diff'].dt.seconds/3600/24
temp = pd.DatetimeIndex(test_features['timestamp'])
test_features['year'] = temp.year
test_features['month'] = temp.month
test_features['day'] = temp.day
test_features['hour'] = temp.hour
test_features['minute'] = temp.minute
test_features['week_day'] = temp.weekday #星期几 
test_features['time_diff'] = test_features['timestamp'] - start_time
test_features['time_diff'] = test_features['time_diff'].dt.days + test_features['time_diff'].dt.seconds/3600/24
features = features.drop(['timestamp'],axis = 1)
test_features = test_features.drop(['timestamp'],axis = 1)

# 对version进行数据清洗与特征变换
def version_trans(x):
    if x=='V3':
        return 3
    if x=='v1':
        return 1
    if x=='P_Final_6':
        return 6
    if x=='V6':
        return 6
    if x=='GA3':
        return 3
    if x=='GA2':
        return 2
    if x=='V2':
        return 2
    if x=='50':
        return 5
    return int(x)
features['version'] = features['version'].apply(version_trans)
test_features['version'] = test_features['version'].apply(version_trans)
features['version'] = features['version'].astype('int')
test_features['version'] = test_features['version'].astype('int')

# 对lan进行数据清洗与特征变换 对于有缺失的lan 设置为22    
lan_map = {'zh-CN': 1, 'zh_CN':2, 'Zh-CN': 3, 'zh-cn': 4, 'zh_CN_#Hans':5, 'zh': 6, 'ZH': 7, 'cn':8, 'CN':9, 'zh-HK': 10, 'tw': 11, 'TW': 12, 'zh-TW': 13,             'zh-MO':14, 'en':15, 'en-GB': 16, 'en-US': 17, 'ko': 18, 'ja': 19, 'it': 20, 'mi':21} 
train['lan'] = train['lan'].map(lan_map)
test['lan'] = test['lan'].map(lan_map)
train['lan'].fillna(22, inplace=True)
test['lan'].fillna(22, inplace=True)

# 构造面积特征和构造相除特征
features['dev_area'] = features['dev_height'] * features['dev_width']
test_features['dev_area'] = test_features['dev_height'] * test_features['dev_width']
features['dev_rato'] = features['dev_height'] / features['dev_width']
test_features['dev_rato'] = test_features['dev_height'] / test_features['dev_width']
# APP版本与操作系统版本差
features['version_osv'] = features['osv'] - features['version']
test_features['version_osv'] = test_features['osv'] - test_features['version']

# 对fea_hash与fea1_hash特征变换
features['fea_hash_len'] = features['fea_hash'].map(lambda x: len(str(x)))
features['fea1_hash_len'] = features['fea1_hash'].map(lambda x: len(str(x)))
features['fea_hash'] = features['fea_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
features['fea1_hash'] = features['fea1_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
test_features['fea_hash_len'] = test_features['fea_hash'].map(lambda x: len(str(x)))
test_features['fea1_hash_len'] = test_features['fea1_hash'].map(lambda x: len(str(x)))
test_features['fea_hash'] = test_features['fea_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
test_features['fea1_hash'] = test_features['fea1_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))

#通过特征比，寻找关键特征，构造新特征，新特征字段 = 原始特征字段 + 1
def find_key_feature(train, selected):
    temp = pd.DataFrame(columns = [0,1])
    temp0 = train[train['label'] == 0]
    temp1 = train[train['label'] == 1]
    temp[0] = temp0[selected].value_counts() / len(temp0) * 100
    temp[1] = temp1[selected].value_counts() / len(temp1) * 100
    temp[2] = temp[1] / temp[0]
    #选出大于10倍的特征
    result = temp[temp[2] > 10].sort_values(2, ascending = False).index
    return result
selected_cols = ['osv','apptype', 'carrier', 'dev_height', 'dev_ppi','dev_width', 'media_id', 
                 'package', 'version', 'fea_hash', 'location', 'fea1_hash','cus_type']
key_feature = {}
for selected in selected_cols:
    key_feature[selected] = find_key_feature(train, selected)
def f(x, selected):
    if x in key_feature[selected]:
        return 1
    else:
        return 0
for selected in selected_cols:
    if len(key_feature[selected]) > 0:
        features[selected+'1'] = features[selected].apply(f, args = (selected,))
        test_features[selected+'1'] = test_features[selected].apply(f, args = (selected,))
        print(selected+'1 created')

#CatBoost模型
from catboost import CatBoostClassifier
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import roc_auc_score
model=CatBoostClassifier(
            loss_function="Logloss",
            eval_metric="AUC",
            task_type="GPU",
            learning_rate=0.1,
            iterations=1000,
            random_seed=2021,
            od_type="Iter",
            depth=7)

n_folds =10 #十折交叉校验
answers = []
mean_score = 0
data_x=features
data_y=train['label']
sk = StratifiedKFold(n_splits=n_folds, shuffle=True, random_state=2021)
all_test = test_features.copy()
for train, test in sk.split(data_x, data_y):  
    x_train = data_x.iloc[train]
    y_train = data_y.iloc[train]
    x_test = data_x.iloc[test]
    y_test = data_y.iloc[test]
    clf = model.fit(x_train,y_train, eval_set=(x_test,y_test),verbose=500) # 500条打印一条日志
    
    yy_pred_valid=clf.predict(x_test,prediction_type='Probability')[:,-1]
    print('cat验证的auc:{}'.format(roc_auc_score(y_test, yy_pred_valid)))
    mean_score += roc_auc_score(y_test, yy_pred_valid) / n_folds
    
    y_pred_valid = clf.predict(all_test,prediction_type='Probability')[:,-1]
    answers.append(y_pred_valid) 
print('mean valAuc:{}'.format(mean_score))
cat_pre=sum(answers)/n_folds
cat_pre
res['label']=[1 if x>=0.5 else 0 for x in cat_pre]
res.to_csv('./baselinev6.csv',index=False)

有错误: f073b_changxiang_v01_b1b8_20180915
有错误: %E6%B1%9F%E7%81%B5OS+5.0
有错误: GIONEE_YNGA

项目思考的过程与baseline迭代版本

BaseLine V1_lgb–分数: 86.746

切换盘符：

jupyter notebook D:\

一、数据探索

1、去除Unnameed字段
train = train.iloc[:, 1:]
test = test.iloc[:,1:]
2、查看字段类型

写法1:

train.info()

写法2:

或者直接查看类型为object的列

train.select_dtypes(include='object').columns

发现以下字段为object类型需要进行数值变换

 7   lan         316720 non-null  object 
 10  os          500000 non-null  object 
 11  osv         493439 non-null  object 
 15  version     500000 non-null  object 
 16  fea_hash    500000 non-null  object

以lan为例查看里面数据情况

train['lan'].value_counts()
3、查看缺失值的个数

写法1：

train.isnull().sum()

写法2：

t = train.isnull().sum()
t[t>0]

发现以下字段缺少比较多

lan           183280
osv             6561
4、唯一值的个数

查看唯一值的个数

features = train.columns.tolist()
for feature in features:
    if train[feature].nunique() ==1:
        print(feature,train[feature].nunique())

发现os字段的唯一值个数太少

os 2

查看os

train['os'].value_counts()

发现os数据都为android

android    303175
Android    196825
Name: os, dtype: int64
5、数据探索的结论

object类型字段有：lan、osv 、osv、version、fea_hash

缺失值较多的字段有：lan、osv

唯一值个数较少且意义不大：os

没有意义的字段：sid

BaselineV1中也先去除timestamp

6、特征的相关性分析(补充)
# 对特征列进行相关性分析
import matplotlib.pyplot as plt
%matplotlib inline
import seaborn as sns
plt.figure(figsize=(10,10))
sns.heatmap(train.corr(),cbar=True,annot=True,cmap='Blues')

二、数据预处理

最终去掉：【lan】【os】【osv】【version】【label】【sid】【timestamp】

remove_list = ['lan', 'os', 'osv', 'version', 'label', 'sid','timestamp']
col = features #字段名
for i in remove_list:
    col.remove(i)
features = train[col]

三、特征工程

1、fea_hash特征变换
#查看数据值
train['fea_hash'].value_counts()
#查看统计信息
train['fea_hash'].describe()
#查看映射的长度特征情况
train['fea_hash'].map(lambda x:len(str(x))).value_counts()

fea_hash进行特征变换

# fea_hash的长度为新特征
features['fea_hash_len'] = features['fea_hash'].map(lambda x: len(str(x)))
features['fea1_hash_len'] = features['fea1_hash'].map(lambda x: len(str(x)))
# 如果fea_hash很长，都归为0，否则为自己的本身
features['fea_hash'] = features['fea_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
features['fea1_hash'] = features['fea1_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))

四、模型建立

test 做和train同样处理，利用lightgbm进行训练与预测，并保存，上诉过程全部合并代码如下：

#BaselineV1
import pandas as pd
import warnings
import lightgbm as lgb
warnings.filterwarnings('ignore')
# 数据加载
train = pd.read_csv('./train.csv')
test = pd.read_csv('./test1.csv')
# 去除Unnameed字段
train = train.iloc[:, 1:]
test = test.iloc[:,1:]
# 去除数据探索发现问题的字段
col = train.columns.tolist()
remove_list = ['lan', 'os', 'osv', 'version', 'label', 'sid','timestamp']
for i in remove_list:
    col.remove(i)
features = train[col]
test_features = test[col]
# fea_hash特征变换
features['fea_hash_len'] = features['fea_hash'].map(lambda x: len(str(x)))
features['fea1_hash_len'] = features['fea1_hash'].map(lambda x: len(str(x)))
features['fea_hash'] = features['fea_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
features['fea1_hash'] = features['fea1_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
test_features['fea_hash_len'] = test_features['fea_hash'].map(lambda x: len(str(x)))
test_features['fea1_hash_len'] = test_features['fea1_hash'].map(lambda x: len(str(x)))
test_features['fea_hash'] = test_features['fea_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
test_features['fea1_hash'] = test_features['fea1_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
#lightgbm进行训练与预测
model = lgb.LGBMClassifier()
model.fit(features,train['label'])
result = model.predict(test_features)
#res包括sid字段与label字段
res = pd.DataFrame(test['sid'])
res['label'] = result
#保存在csv中
res.to_csv('./baselineV1.csv',index=False)

BaseLine V2_lgb–分数: 88.2007

一、特征工程优化

1、利用osv特征
# 对osv进行数据清洗
def osv_trans(x):
    x = str(x).replace('Android_', '').replace('Android ', '').replace('W', '')
    if str(x).find('.')>0:
        temp_index1 = x.find('.')
        if x.find(' ')>0:
            temp_index2 = x.find(' ')
        else:
            temp_index2 = len(x)
 
        if x.find('-')>0:
            temp_index2 = x.find('-')
            
        result = x[0:temp_index1] + '.' + x[temp_index1+1:temp_index2].replace('.', '')
        try:
            return float(result)
        except:
            print('有错误: '+x)
            return 0
    try:
        return float(x)
    except:
        print('有错误: '+x)
        return 0
features['osv'].fillna('8.1.0', inplace=True)
features['osv'] = features['osv'].apply(osv_trans)
test_features['osv'].fillna('8.1.0', inplace=True)
test_features['osv'] = test_features['osv'].apply(osv_trans)
2、利用TimeStamp特征

提取时间多尺度并计算时间diff(时间差)

# 对timestamp进行数据清洗与特征变换
from datetime import datetime
features['timestamp'] = features['timestamp'].apply(lambda x: datetime.fromtimestamp(x/1000))
test_features['timestamp'] = test_features['timestamp'].apply(lambda x: datetime.fromtimestamp(x/1000))
temp = pd.DatetimeIndex(features['timestamp'])
features['year'] = temp.year
features['month'] = temp.month
features['day'] = temp.day
features['hour'] = temp.hour
features['minute'] = temp.minute
features['week_day'] = temp.weekday #星期几
start_time = features['timestamp'].min()
features['time_diff'] = features['timestamp'] - start_time
features['time_diff'] = features['time_diff'].dt.days + features['time_diff'].dt.seconds/3600/24

temp = pd.DatetimeIndex(test_features['timestamp'])
test_features['year'] = temp.year
test_features['month'] = temp.month
test_features['day'] = temp.day
test_features['hour'] = temp.hour
test_features['minute'] = temp.minute
test_features['week_day'] = temp.weekday #星期几 
test_features['time_diff'] = test_features['timestamp'] - start_time
test_features['time_diff'] = test_features['time_diff'].dt.days + test_features['time_diff'].dt.seconds/3600/24

col = features.columns.tolist()
col.remove('timestamp')
features = features[col]
test_features = test_features[col]
3、利用Version特征
# 对version进行数据清洗与特征变换
def version_trans(x):
    if x=='V3':
        return 3
    if x=='v1':
        return 1
    if x=='P_Final_6':
        return 6
    if x=='V6':
        return 6
    if x=='GA3':
        return 3
    if x=='GA2':
        return 2
    if x=='V2':
        return 2
    if x=='50':
        return 5
    return int(x)
features['version'] = features['version'].apply(version_trans)
test_features['version'] = test_features['version'].apply(version_trans)
features['version'] = features['version'].astype('int')
test_features['version'] = test_features['version'].astype('int')

二、模型建立

上诉过程合并代码如下：

import pandas as pd
import warnings
import lightgbm as lgb
warnings.filterwarnings('ignore')

# 数据加载和去除Unnameed字段
train = pd.read_csv('./train.csv')
test = pd.read_csv('./test1.csv')
train = train.iloc[:, 1:]
test = test.iloc[:,1:]

# 去除数据探索发现问题的字段
col = train.columns.tolist()
remove_list = ['lan', 'os','label', 'sid']
for i in remove_list:
    col.remove(i)
features = train[col]
test_features = test[col]

# 对osv进行数据清洗
def osv_trans(x):
    x = str(x).replace('Android_', '').replace('Android ', '').replace('W', '')
    if str(x).find('.')>0:
        temp_index1 = x.find('.')
        if x.find(' ')>0:
            temp_index2 = x.find(' ')
        else:
            temp_index2 = len(x)
 
        if x.find('-')>0:
            temp_index2 = x.find('-')
            
        result = x[0:temp_index1] + '.' + x[temp_index1+1:temp_index2].replace('.', '')
        try:
            return float(result)
        except:
            print('有错误: '+x)
            return 0
    try:
        return float(x)
    except:
        print('有错误: '+x)
        return 0
features['osv'].fillna('8.1.0', inplace=True)
features['osv'] = features['osv'].apply(osv_trans)
test_features['osv'].fillna('8.1.0', inplace=True)
test_features['osv'] = test_features['osv'].apply(osv_trans)

# 对timestamp进行数据清洗与特征变换,
from datetime import datetime
features['timestamp'] = features['timestamp'].apply(lambda x: datetime.fromtimestamp(x/1000))
test_features['timestamp'] = test_features['timestamp'].apply(lambda x: datetime.fromtimestamp(x/1000))
temp = pd.DatetimeIndex(features['timestamp'])
features['year'] = temp.year
features['month'] = temp.month
features['day'] = temp.day
features['hour'] = temp.hour
features['minute'] = temp.minute
features['week_day'] = temp.weekday #星期几
start_time = features['timestamp'].min()
features['time_diff'] = features['timestamp'] - start_time
features['time_diff'] = features['time_diff'].dt.days + features['time_diff'].dt.seconds/3600/24
temp = pd.DatetimeIndex(test_features['timestamp'])
test_features['year'] = temp.year
test_features['month'] = temp.month
test_features['day'] = temp.day
test_features['hour'] = temp.hour
test_features['minute'] = temp.minute
test_features['week_day'] = temp.weekday #星期几 
test_features['time_diff'] = test_features['timestamp'] - start_time
test_features['time_diff'] = test_features['time_diff'].dt.days + test_features['time_diff'].dt.seconds/3600/24
features = features.drop(['timestamp'],axis = 1)
test_features = test_features.drop(['timestamp'],axis = 1)

# 对version进行数据清洗与特征变换
def version_trans(x):
    if x=='V3':
        return 3
    if x=='v1':
        return 1
    if x=='P_Final_6':
        return 6
    if x=='V6':
        return 6
    if x=='GA3':
        return 3
    if x=='GA2':
        return 2
    if x=='V2':
        return 2
    if x=='50':
        return 5
    return int(x)
features['version'] = features['version'].apply(version_trans)
test_features['version'] = test_features['version'].apply(version_trans)
features['version'] = features['version'].astype('int')
test_features['version'] = test_features['version'].astype('int')

# 对fea_hash与fea1_hash特征变换
features['fea_hash_len'] = features['fea_hash'].map(lambda x: len(str(x)))
features['fea1_hash_len'] = features['fea1_hash'].map(lambda x: len(str(x)))
features['fea_hash'] = features['fea_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
features['fea1_hash'] = features['fea1_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
test_features['fea_hash_len'] = test_features['fea_hash'].map(lambda x: len(str(x)))
test_features['fea1_hash_len'] = test_features['fea1_hash'].map(lambda x: len(str(x)))
test_features['fea_hash'] = test_features['fea_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))
test_features['fea1_hash'] = test_features['fea1_hash'].map(lambda x: 0 if len(str(x))>16 else int(x))

#lightgbm进行训练与预测
model = lgb.LGBMClassifier()
model.fit(features,train['label'])
result = model.predict(test_features)
#res包括sid字段与label字段
res = pd.DataFrame(test['sid'])
res['label'] = result
#保存在csv中
res.to_csv('./baselineV2.csv',index=False)
print("已完成")

BaseLine V3_xgb–分数: 88.5073

一、特征工程优化

1、构造面积特征和相除特征
features['dev_area'] = features['dev_height'] * features['dev_width']
test_features['dev_area'] = test_features['dev_height'] * test_features['dev_width']
features['dev_rato'] = features['dev_height'] / features['dev_width']
test_features['dev_rato'] = test_features['dev_height'] / test_features['dev_width']
2、APP版本与操作系统版本差
features['version_osv'] = features['osv'] - features['version']
test_features['version_osv'] = test_features['osv'] - test_features['version']

二、xgboost模型

1、LightGBM 祖传参数
clf = lgb.LGBMClassifier(
            num_leaves=2**5-1, reg_alpha=0.25, reg_lambda=0.25, objective='multiclass',
            max_depth=-1, learning_rate=0.005, min_child_samples=3, random_state=2021,
            n_estimators=2000, subsample=1, colsample_bytree=1)
device = gpu
gpu_platform_id = 0
gpu_device_id = 0
2、XGBoost祖传参数
model_xgb = xgb.XGBClassifier(
            max_depth=9, learning_rate=0.005, n_estimators=2000, 
            objective='multi:softprob', tree_method='gpu_hist', 
            subsample=0.8, colsample_bytree=0.8, 
            min_child_samples=3, eval_metric='logloss', reg_lambda=0.5)
3、使用xgboost并使用祖传参数
%%time
#lightgbm进行训练与预测
import xgboost as xgb
model_xgb = xgb.XGBClassifier(
            max_depth=15, learning_rate=0.05, n_estimators=5000, 
            objective='binary:logistic', tree_method='gpu_hist', 
            subsample=0.8, colsample_bytree=0.8, 
            min_child_samples=3, eval_metric='auc', reg_lambda=0.5
        )
model_xgb.fit(features,train['label'])
result_xgb = model.predict(test_features)
res = pd.DataFrame(test['sid'])
res['label'] = result_xgb
res.to_csv('./baselineV3.csv',index=False)
print("已完成")

使用了xgboost的祖传参数

参数含义
max_depth含义：树的最大深度，用来避免过拟合的。max_depth越大，模型会学到更具体更局部的样本，需要使用CV函数来进行调优。
默认值：6，典型值：3-10。
调参：值越大，越容易过拟合；值越小，越容易欠拟合。
learning_rate含义：学习率，控制每次迭代更新权重时的步长
默认值：0.3，典型值：0.01-0.2。
调参：值越小，训练越慢。
n_estimators总共迭代的次数，即决策树的个数，相当于训练的轮数
objective回归任务：reg:linear (默认) reg: logistic
二分类 binary:logistic (概率) binary：logitraw (类别)
多分类 multi：softmax num_class=n (返回类别) multi：softprob num_class=n(返回概率)
tree_method可调用gpu：gpu_hist。使用功能的树的构建方法，hist代表使用直方图优化的近似贪婪的算法
subsample含义：训练样本采样率（行采样），训练每棵树时，使用的数据占全部训练集的比例。这个参数控制对于每棵树，随机采样的比例。 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。
默认值：1，典型值：0.5-1。
调参：防止过拟合。
colsample_bytree含义：训练每棵树时，使用的数据占全部训练集的比例。默认值为1，典型值为0.5-1。和GBM中的subsample参数一模一样。这个参数控制对于每棵树，随机采样的比例。 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。
典型值：0.5-1
调参：防止过拟合。
min_child_samples
eval_metric用户可以添加多种评价指标，对于Python用户要以list传递参数对给程序
可供的选择如下:
回归任务(默认rmse) ：rmse–均方根误差 mae–平均绝对误差
分类任务(默认error) ： auc–roc曲线下面积 error–错误率（二分类） merror–错误率（多分类） logloss–负对数似然函数（二分类） mlogloss–负对数似然函数（多分类）
reg_lambdaL2正则化系数
4、可视化的方式查看特征的重要程度
from xgboost import plot_importance
import matplotlib.pyplot as plt
plot_importance(model_xgb)

BaseLine V4_xgb–分数: 88.946

一、使用十折交叉验证优化

%%time
# 定义10折子模型
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import accuracy_score
def xgb_model(clf,train_x,train_y,test):
    sk=StratifiedKFold(n_splits=10,random_state=2021,shuffle = True)
    prob=[]
    mean_acc=0
    for k,(train_index,val_index) in enumerate(sk.split(train_x,train_y)):
        train_x_real=train_x.iloc[train_index]
        train_y_real=train_y.iloc[train_index]
        val_x=train_x.iloc[val_index]
        val_y=train_y.iloc[val_index]
        #模型训练及验证集测试
        clf=clf.fit(train_x_real,train_y_real)
        val_y_pred=clf.predict(val_x)
        acc_val=accuracy_score(val_y,val_y_pred)
        print('第{}个子模型 accuracy{}'.format(k+1,acc_val))
        mean_acc+=mean_acc/10
        #预测测试集
        test_y_pred=clf.predict_proba(test)
        prob.append(test_y_pred)
    print(mean_acc)
    mean_prob=sum(prob)/10
    return mean_prob
 
 
import xgboost as xgb
model_xgb2 = xgb.XGBClassifier(
            max_depth=15, learning_rate=0.005, n_estimators=5300, 
            objective='binary:logistic', tree_method='gpu_hist', 
            subsample=0.7, colsample_bytree=0.7, 
            min_child_samples=3, eval_metric='auc', reg_lambda=0.5
        )
result_xgb=xgb_model(model_xgb2,features,train['label'],test_features) 
result_xgb2=[x[1] for x in result_xgb]
result_xgb2=[1 if x>=0.5 else 0 for x in result_xgb2]
 
res = pd.DataFrame(test['sid'])
res['label'] = result_xgb2
res.to_csv('./baselineV4.csv', index=False)
print('已完成')

BaseLine V5_xgb–分数: 89.0787

一、特征工程优化

​ 通过特征比，寻找关键特征，构造新特征，新特征字段 = 原始特征字段 + 1

#通过特征比，寻找关键特征，构造新特征，新特征字段 = 原始特征字段 + 1
def find_key_feature(train, selected):
    temp = pd.DataFrame(columns = [0,1])
    temp0 = train[train['label'] == 0]
    temp1 = train[train['label'] == 1]
    temp[0] = temp0[selected].value_counts() / len(temp0) * 100
    temp[1] = temp1[selected].value_counts() / len(temp1) * 100
    temp[2] = temp[1] / temp[0]
    #选出大于10倍的特征
    result = temp[temp[2] > 10].sort_values(2, ascending = False).index
    return result

selected_cols = ['osv','apptype', 'carrier', 'dev_height', 'dev_ppi','dev_width', 'media_id', 
                 'package', 'version', 'fea_hash', 'location', 'fea1_hash','cus_type']
key_feature = {}
for selected in selected_cols:
    key_feature[selected] = find_key_feature(train, selected)
key_feature

def f(x, selected):
    if x in key_feature[selected]:
        return 1
    else:
        return 0

for selected in selected_cols:
    if len(key_feature[selected]) > 0:
        features[selected+'1'] = features[selected].apply(f, args = (selected,))
        test_features[selected+'1'] = test_features[selected].apply(f, args = (selected,))
        print(selected+'1 created')

请点击此处查看本环境基本用法.

Please click here for more detailed instructions.

AI Studio
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
天池学习赛-保险反欺诈预测参考代码过程
2201_75355699的博客
05-20 1883
对train训练集和test测试集的数据进行合并。在数据清洗部分，使用了isull()函数对数据查看是否有为空的数据，数据规模较小并且比较干净，所以没有对数据进行清洗。在对数据唯一值个数进行处理部分，对不同的数据类型要分别处理，使用select_dtypesselect_dtypes方法批量把相同类型的字段筛选出来，使用append()方法在列表末尾处添加col新对象。
【12月Top 2】MarTech Challenge 点击反欺诈预测
turkeym4的博客
12-31 1918
百度点击反欺诈预测赛道baseline 最终得分：89.1713
点击反欺诈预测Baseline
m0_63642362的博客
11-26 637
感觉赛题比较难？或许你应该这样想：点击反欺诈 = 二分类任务(波士顿房价降价预测)，有木有感觉到简单呢？目前常规赛事基线撰写模板已经对外开放，欢迎开发者贡献更好的基线作品~
飞桨常规赛：点击反欺诈预测-10月第2名方案
m0_63642362的博客
11-26 511
点击反欺诈，二分类任务
1-4.常规赛：点击反欺诈预测分享
我不是坏人的博客
11-22 500
在常规赛：点击反欺诈预测比赛上获得了87.63的分数。基于官方baseline，使用神经网络的方法。做了数据和网络部分的优化。
MarTech Challenge 点击反欺诈预测数据集
12-30
本文将深入探讨“MarTech Challenge 点击反欺诈预测数据集”，并结合相关标签——机器学习、数据集以及多层感知器（MLP），阐述如何利用这些数据和方法来识别和预防点击欺诈行为。 首先，理解数据集的构成至关重要...
百度AI比赛：点击反欺诈预测，排名7424.zip
最新发布
09-30
评估指标通常包括准确率、精确率、召回率、F1分数等，但针对不平衡数据集（欺诈点击通常远少于正常点击），AUC-ROC曲线和LogLoss可能是更合适的评估标准，因为它们更能反映模型在识别罕见事件上的性能。 最后，模型...
Titanic-Survivors:Kaggle Challenge构建机器学习模型以预测泰坦尼克号幸存者
03-29
泰坦尼克号：从灾难中学习机器 问题陈述 竞赛是使用机器学习来创建一个模型，该模型预测哪些乘客在泰坦尼克号沉船事故中幸存下来。 问题 在本次比赛中，有两个类似的数据集，其中包括乘客信息，例如姓名，年龄，性别...
spotify_recSys_challenge_2018:2018年Spotify ACM RecSys挑战赛第二名解决方案
05-09
2018 ACM RecSys挑战赛第二名解决方案 联络人： 归纳法 该存储库包含我们针对主轨道的条目的tensorflow v1实现。 我们提出MMCF，它由两个组件组成：（1）同时使用播放列表及其分类内容的上下文感知自动编码器，...
ROADEF-Challenge-2020:ROADEFEURO挑战赛2020
04-09
ROADEF / EURO 2020挑战：维护计划问题 安德烈·马拉维拉1，2 炫酷美联储-信息学，管理和设计的1系。 德埃杜。 Tecnológicade Minas Gerais（ ） 2运筹学和复杂系统实验室。 -米纳斯吉拉斯州联邦大学（ ） ...
飞桨常规赛：点击反欺诈预测 - 12月第7名方案_副本
m0_63642362的博客
02-25 395
感觉赛题比较难？或许你应该这样想：点击反欺诈 = 二分类任务(波士顿房价降价预测)，有木有感觉到简单呢？目前常规赛事基线撰写模板已经对外开放，欢迎开发者贡献更好的基线作品~
百度点击反欺诈比赛-代码思路分享
你好，今天的你
07-21 492
思路分享 该比赛的数据主要围绕着用户和广告商的不同特征维度进行展开，特征工程的难点在于数据清洗部分，比如osv，version等字段，需要通过正则手段取出关键信息。除此之外，时间维度的展开存在多个共线性，需要斟酌拿取适合的时间信息。最后，target encoding是个万能的提分手段，分组聚合不同类别特征的label信息，总结出不同特征的欺诈分布。 模型 catboost xgboost lightgbm（后面发现LGB的效果并没有XGB好，所以没采用） 五折+模型平均融合 代码展示 import n
手把手教你赢得比赛！飞桨常规赛聚焦智能营销
百度大脑
09-01 562
以前我们常说，只要胆子大，寒假连暑假。结果今年真的成功实现了这一梦想，除了刷剧葛优瘫，网购也越来越渗透到生活的点点滴滴。从洗手液到跑步机，只有你想不到的，没有买不到的。瘫在家里网购看似方...
【飞桨赛事1月速递】生物赛题助抗疫，同传翻译开新题！
PaddlePaddle
01-09 294
点击左上方蓝字关注我们“难熬”的2020终于过去，恭喜你顺利地迈入2021的新世界！刚开年的1月，百度飞桨就为大家带来了更贴近生活的全新赛题。技术抗疫，同传翻译，展现咱们AI人的责任与担当...
AI赋能金融风控全场景、轻松实现信贷评分、工程管理和理赔反欺诈！
PaddlePaddle
09-12 1254
风险控制能力是金融业必备的核心竞争力，是银行业务健康可持续发展的关键。随着金融业务的线上化发展，金融的欺诈等行为也呈现出专业化、产业化、隐蔽化、跨区域且进化快的新特点，对传统的风控手段形成极大的挑战。面对突入而来的新冠疫情造成的市场流动性冲击，金融行业都积极寻求业务改变，对企业和个人的信贷要求逐渐放松，而这些改变未来也可能带来隐患，甚至出现违约率上升的风险。因此金融行业应建设新一代以“智能风控中台...
【飞桨常规赛11月速递】顶会眼科赛题再启动，中文NLP赛题开新榜！
PaddlePaddle
11-10 371
让人又爱又恨的剁手节又双叒叕到了，各位尾款人可还有零花钱在即将到来的12月奖励自己努力搬砖的一整年？飞桨比赛这就给大家送上惊喜福利！无论是参加飞桨比赛荣登top榜，沉淀参赛方案发布AI S...
互联网广告欺诈第一案---网络广告潜规则何时被捅破
领测软件测试网贺炘：让软件测试敏捷起来
09-19 2770
 【CSDN 独家报道】从最初边工作边创业，到后来放弃月薪近15K的工作全职投入；从最初的四五个人到而今的四十多人，辛苦创立的软件测试公司——北京慧灵科技有限公司（以下简称“慧灵”）刚走上了些稳健正轨的路，却在投放广告的时候遇到了疑似互联网网络广告欺诈，于是总经理贺炘一纸诉状将原告告上了法庭。事情是这样的：慧灵通过某广告代理在千龙新闻网首页上做文字链接广告，通过两个第三方流量网站及其他数据发现
直播预告丨叮咚～这里有一份冠军分享的比赛经验等你查收
百度大脑
09-02 448
近年来人工智能发展迅速，各种 AI 赛事也层出不穷，开发者通过参加比赛，可以提升创新实践应用能力，和同龄人进行技术交流，还能获得一些机构提供的数据集，好处多多～可是，即使是入门级别的赛...
关于讯飞大平台-广告反欺诈预测算法竞赛
weixin_30828379的博客
08-19 464
竞赛 转载于:https://www.cnblogs.com/lvdongjie/p/11377968.html

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值