FeatureEngineering特征工程

最新推荐文章于 2022-05-10 22:42:56 发布
最新推荐文章于 2022-05-10 22:42:56 发布
阅读量191 收藏
点赞数
原文链接：https://github.com/datawhalechina/team-learning
版权

3_FeatureEngineering特征工程

导入相关的包

import warnings
warnings.filterwarnings('ignore')
import numpy as np
import pandas as pd
import matplotlib.pyplot as mp
import seaborn as sns
from sklearn.preprocessing import LabelEncoder

读取数据集

train_data=pd.read_csv("./train_data.csv")
train_data["Type"]="Train"
test_data=pd.read_csv("./test_a.csv")
test_data["Type"]="Test"
target_train = train_data.pop('tradeMoney')
target_test = target_train[:len(target_train)]

特征衍生

#将houseType转为'Room'，'Hall'，'Bath'
def Room(x):
        Room = int(x.split('室')[0])
        return Room
def Hall(x):
    Hall = int(x.split("室")[1].split("厅")[0])
    return Hall
def Bath(x):
    Bath = int(x.split("室")[1].split("厅")[1].split("卫")[0])
    return Bath
data['Room'] = data['houseType'].apply(lambda x: Room(x))
data['Hall'] = data['houseType'].apply(lambda x: Hall(x))
data['Bath'] = data['houseType'].apply(lambda x: Bath(x))
data['Room_Bath'] = (data['Bath']+1) / (data['Room']+1)

特征清洗

def cleanFeature(data):
    # 填充租房类型
    data.loc[(data['rentType'] == '未知方式') & (data['Room'] <= 1),'rentType'] = '整租'
#     print("data[data['Room'] <= 1]['rentType']:")
#     print(data[data['Room'] <= 1]['rentType'])
    data.loc[(data['rentType'] == '未知方式') & (data['Room_Bath'] > 1),'rentType'] = '合租'
#     print("data[data['Room_Bath'] > 1]['rentType']:")
#     print(data[data['Room_Bath'] > 1]['rentType'])
    data.loc[(data['rentType'] == '未知方式') & (data['Room'] > 1) & (data['area'] < 50),'rentType'] = '合租'
    data.loc[(data['rentType'] == '未知方式') & (data['area'] / data['Room'] < 20),'rentType'] = '合租'
    data.loc[(data['rentType'] == '未知方式') & (data['area'] <= 50) & (data['Room'] == 2),'rentType'] = '合租'
    data.loc[(data['rentType'] == '未知方式') & (data['area'] > 60) & (data['Room'] == 2),'rentType'] = '整租'
    data.loc[(data['rentType'] == '未知方式') & (data['area'] <= 60) & (data['Room'] == 3),'rentType'] = '合租'
    data.loc[(data['rentType'] == '未知方式') & (data['area'] > 60) & (data['Room'] == 3),'rentType'] = '整租'
    data.loc[(data['rentType'] == '未知方式') & (data['area'] >= 100) & (data['Room'] > 3),'rentType'] = '整租'
    print("data[(data['area'] >= 100) & (data['Room'] > 3)]['rentType']:")
    print(data[(data['area'] >= 100) & (data['Room'] > 3)]['rentType'])
    
    #将area转成int类型
    data["area"] = data["area"].astype(int)
    
    #将buildYear的"暂无信息"用众数替换，并将其从object类型转换成int类型
    buildYearmean=data[data["buildYear"]!="暂无信息"]["buildYear"].mode()
    data["buildYear"][data["buildYear"]=="暂无信息"]=buildYearmean[0]
    data["buildYear"]=data["buildYear"].astype(int)
    
cleanFeature(train_data)
cleanFeature(test_data)

计算统计特征

#计算统计特征
def featureCount(data):
    def feature_count(data, features=[]):
        new_feature = 'count'
        for i in features:
            new_feature += '_' + i
        temp = data.groupby(features).size().reset_index().rename(columns={0: new_feature})
        data = data.merge(temp, 'left', on=features)
        return data

    data = feature_count(data, ['communityName'])
    data = feature_count(data, ['buildYear'])
    data = feature_count(data, ['totalFloor'])
    data = feature_count(data, ['communityName', 'totalFloor'])
    data = feature_count(data, ['communityName', 'newWorkers'])
    data = feature_count(data, ['communityName', 'totalTradeMoney'])
    return data
    
train_data = featureCount(train_data)
test_data = featureCount(test_data)

输出：

groupby方法生成统计特征

#groupby生成统计特征：mean,std等

def gourpby(data):
    columns = ['rentType', 'houseFloor', 'houseToward', 'houseDecoration', 'communityName', 'region', 'plate']
    for feature in columns:
        data[feature] = LabelEncoder().fit_transform(data[feature])

    temp = data.groupby('communityName')['area'].agg({'com_area_mean': 'mean', 'com_area_std': 'std'})
    temp.fillna(0, inplace=True)
    data = data.merge(temp, on='communityName', how='left')
    
    data['price_per_area'] = data.tradeMeanPrice / data.area * 100
    temp = data.groupby('communityName')['price_per_area'].agg(
        {'comm_price_mean': 'mean', 'comm_price_std': 'std'})
    temp.fillna(0, inplace=True)
    data = data.merge(temp, on='communityName', how='left')
   
    temp = data.groupby('plate')['price_per_area'].agg(
        {'plate_price_mean': 'mean', 'plate_price_std': 'std'})
    temp.fillna(0, inplace=True)
    data = data.merge(temp, on='plate', how='left')
    data.drop('price_per_area', axis=1, inplace=True)

    temp = data.groupby('plate')['area'].agg({'plate_area_mean': 'mean', 'plate_area_std': 'std'})
    temp.fillna(0, inplace=True)
    data = data.merge(temp, on='plate', how='left')
    
    temp = data.groupby(['plate'])['buildYear'].agg({'plate_year_mean': 'mean', 'plate_year_std': 'std'})
    data = data.merge(temp, on='plate', how='left')
    data.plate_year_mean = data.plate_year_mean.astype('int')
    data['comm_plate_year_diff'] = data.buildYear - data.plate_year_mean
    data.drop('plate_year_mean', axis=1, inplace=True)

    temp = data.groupby('plate')['trainsportNum'].agg('sum').reset_index(name='plate_trainsportNum')
    data = data.merge(temp, on='plate', how='left')
    temp = data.groupby(['communityName', 'plate'])['trainsportNum'].agg('sum').reset_index(name='com_trainsportNum')
    data = data.merge(temp, on=['communityName', 'plate'], how='left')
    data['trainsportNum_ratio'] = list(map(lambda x, y: round(x / y, 3) if y != 0 else -1,
                                           data['com_trainsportNum'], data['plate_trainsportNum']))
    data = data.drop(['com_trainsportNum', 'plate_trainsportNum'], axis=1)

    temp = data.groupby('plate')['all_SchoolNum'].agg('sum').reset_index(name='plate_all_SchoolNum')
    data = data.merge(temp, on='plate', how='left')
    temp = data.groupby(['communityName', 'plate'])['all_SchoolNum'].agg('sum').reset_index(name='com_all_SchoolNum')
    data = data.merge(temp, on=['communityName', 'plate'], how='left')
    data = data.drop(['com_all_SchoolNum', 'plate_all_SchoolNum'], axis=1)

    temp = data.groupby(['communityName', 'plate'])['all_mall'].agg('sum').reset_index(name='com_all_mall')
    data = data.merge(temp, on=['communityName', 'plate'], how='left')

    temp = data.groupby('plate')['otherNum'].agg('sum').reset_index(name='plate_otherNum')
    data = data.merge(temp, on='plate', how='left')
    temp = data.groupby(['communityName', 'plate'])['otherNum'].agg('sum').reset_index(name='com_otherNum')
    data = data.merge(temp, on=['communityName', 'plate'], how='left')
    data['other_ratio'] = list(map(lambda x, y: round(x / y, 3) if y != 0 else -1,
                                   data['com_otherNum'], data['plate_otherNum']))
    data = data.drop(['com_otherNum', 'plate_otherNum'], axis=1)

    temp = data.groupby(['month', 'communityName']).size().reset_index(name='communityName_saleNum')
    data = data.merge(temp, on=['month', 'communityName'], how='left')
    temp = data.groupby(['month', 'plate']).size().reset_index(name='plate_saleNum')
    data = data.merge(temp, on=['month', 'plate'], how='left')

    data['sale_ratio'] = round((data.communityName_saleNum + 1) / (data.plate_saleNum + 1), 3)
    data['sale_newworker_differ'] = 3 * data.plate_saleNum - data.newWorkers
    data.drop(['communityName_saleNum', 'plate_saleNum'], axis=1, inplace=True)
    return data

train_data = gourpby(train_data)
test_data = gourpby(test_data)

输出：

聚类方法统计

#聚类
def cluster(data):
    from sklearn.mixture import GaussianMixture
    col = ['totalFloor',
           'houseDecoration', 'communityName', 'region', 'plate', 'buildYear',

           'tradeMeanPrice', 'tradeSecNum', 'totalNewTradeMoney',
           'totalNewTradeArea', 'tradeNewMeanPrice', 'tradeNewNum', 'remainNewNum',

           'landTotalPrice', 'landMeanPrice', 'totalWorkers',
           'newWorkers', 'residentPopulation', 'lookNum',
           'trainsportNum',
           'all_SchoolNum', 'all_hospitalNum', 'all_mall', 'otherNum']

    # EM
    gmm = GaussianMixture(n_components=3, covariance_type='full', random_state=0)
    data['cluster']= pd.DataFrame(gmm.fit_predict(data[col]))


    col1 = ['totalFloor','houseDecoration', 'communityName', 'region', 'plate', 'buildYear']
    col2 = ['tradeMeanPrice', 'tradeSecNum', 'totalNewTradeMoney',
            'totalNewTradeArea', 'tradeNewMeanPrice', 'tradeNewNum', 'remainNewNum',
            'landTotalPrice', 'landMeanPrice', 'totalWorkers',
            'newWorkers', 'residentPopulation', 'lookNum',
            'trainsportNum',
            'all_SchoolNum', 'all_hospitalNum', 'all_mall', 'otherNum']
    for feature1 in col1:
        for feature2 in col2:
        
            temp = data.groupby(['cluster',feature1])[feature2].agg('mean').reset_index(name=feature2+'_'+feature1+'_cluster_mean')
            temp.fillna(0, inplace=True)
       
            data = data.merge(temp, on=['cluster', feature1], how='left')
    
    return train_data

train_data = cluster(train_data)   
test_data = cluster(test_data)

输出：

量级大的值取做平滑处理

def logDeal(data):
    # 过大量级值取log平滑（针对线性模型有效）
    big_num_cols = ['totalTradeMoney','totalTradeArea','tradeMeanPrice','totalNewTradeMoney', 'totalNewTradeArea',
                    'tradeNewMeanPrice','remainNewNum', 'supplyNewNum', 'supplyLandArea','tradeLandArea','landTotalPrice',
                    'landMeanPrice','totalWorkers','newWorkers','residentPopulation','pv','uv']
    for col in big_num_cols:
            data[col] = data[col].map(lambda x: np.log1p(x))
    return data
train_data=logDeal(train_data)
test_data=logDeal(test_data)

输出：

对比特征工程前后线性模型结果情况

test_data=test_data.fillna(0)
# Lasso回归
from sklearn.linear_model import Lasso
lasso=Lasso(alpha=0.1)
lasso.fit(train_data,target_train)
#预测测试集和训练集结果
y_pred_train=lasso.predict(train_data)
y_pred_test=lasso.predict(test_data)

#对比结果
from sklearn.metrics import r2_score
score_train=r2_score(y_pred_train,target_train)
print("训练集结果：",score_train)
score_test=r2_score(y_pred_test, target_test)
print("测试集结果：",score_test)

输出：

相关系数法进行特征选择

#相关系数法特征选择
from sklearn.feature_selection import SelectKBest

print(train.shape)

sk=SelectKBest(k=150)
new_train=sk.fit_transform(train,target_train)
print(new_train.shape)

# 获取对应列索引
select_columns=sk.get_support(indices = True)
# print(select_columns)

# 获取对应列名
# print(test.columns[select_columns])
select_columns_name=test.columns[select_columns]
new_test=test[select_columns_name]
print(new_test.shape)
# Lasso回归
from sklearn.linear_model import Lasso

lasso=Lasso(alpha=0.1)
lasso.fit(new_train,target_train)
#预测测试集和训练集结果
y_pred_train=lasso.predict(new_train)

y_pred_test=lasso.predict(new_test)

#对比结果
from sklearn.metrics import r2_score
score_train=r2_score(y_pred_train,target_train)
print("训练集结果：",score_train)
score_test=r2_score(y_pred_test, target_test)
print("测试集结果：",score_test)

输出：

Wrapper进行梯度删除特征

# Wrapper

from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
rfe = RFE(lr, n_features_to_select=160)
rfe.fit(train,target_train)

RFE(estimator=LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,
                               normalize=False),
    n_features_to_select=40, step=1, verbose=0)




select_columns = [f for f, s in zip(train.columns, rfe.support_) if s]
print(select_columns)
new_train = train[select_columns]
new_test = test[select_columns]

# Lasso回归
from sklearn.linear_model import Lasso

lasso=Lasso(alpha=0.1)
lasso.fit(new_train,target_train)
#预测测试集和训练集结果
y_pred_train=lasso.predict(new_train)

y_pred_test=lasso.predict(new_test)

#对比结果
from sklearn.metrics import r2_score
score_train=r2_score(y_pred_train,target_train)
print("训练集结果：",score_train)
score_test=r2_score(y_pred_test, target_test)
print("测试集结果：",score_test)

输出：

Embedded基于惩罚项的特征选择法

# Embedded
# 基于惩罚项的特征选择法
# Lasso(l1)和Ridge(l2)

from sklearn.linear_model import Ridge

ridge = Ridge(alpha=5)
ridge.fit(train,target_train)

Ridge(alpha=5, copy_X=True, fit_intercept=True, max_iter=None, normalize=False,
      random_state=None, solver='auto', tol=0.001)

# 特征系数排序
coefSort = ridge.coef_.argsort()
print(coefSort)


# 特征系数
featureCoefSore=ridge.coef_[coefSort]
print(featureCoefSore)


select_columns = [f for f, s in zip(train.columns, featureCoefSore) if abs(s)> 0.0000005 ] 
# 选择绝对值大于0.0000005的特征

new_train = train[select_columns]
new_test = test[select_columns]
# Lasso回归
from sklearn.linear_model import Lasso

lasso=Lasso(alpha=0.1)
lasso.fit(new_train,target_train)
#预测测试集和训练集结果
y_pred_train=lasso.predict(new_train)

y_pred_test=lasso.predict(new_test)

#对比结果
from sklearn.metrics import r2_score
score_train=r2_score(y_pred_train,target_train)
print("训练集结果：",score_train)
score_test=r2_score(y_pred_test, target_test)
print("测试集结果：",score_test)

输出：

基于树模型的特征选择法

随机森林 平均不纯度减少（mean decrease impurity）

# Embedded
# 基于树模型的特征选择法
# 随机森林 平均不纯度减少（mean decrease impurity


from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor()
# 训练随机森林模型，并通过feature_importances_属性获取每个特征的重要性分数。rf = RandomForestRegressor()
rf.fit(train,target_train)
print("Features sorted by their score:")
print(sorted(zip(map(lambda x: round(x, 4), rf.feature_importances_), train.columns),
             reverse=True))

select_columns = [f for f, s in zip(train.columns, rf.feature_importances_) if abs(s)> 0.00005 ] 
# 选择绝对值大于0.00005的特征

new_train = train[select_columns]
new_test = test[select_columns]

# Lasso回归
from sklearn.linear_model import Lasso

lasso=Lasso(alpha=0.1)
lasso.fit(new_train,target_train)
#预测测试集和训练集结果
y_pred_train=lasso.predict(new_train)

y_pred_test=lasso.predict(new_test)

#对比结果
from sklearn.metrics import r2_score
score_train=r2_score(y_pred_train,target_train)
print("训练集结果：",score_train)
score_test=r2_score(y_pred_test, target_test)
print("测试集结果：",score_test)

输出：

weixin_43022008
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
随机森林
weixin_41940752的博客
08-07 1万+
集成学习与个体学习器 集成学习 (ensemble learning)通过构建并结合多个学习器来完成学习任务。先产生一组"个体学习器" (individual learner)，再用某种策略将它们结合起来。 个体学习器通常由一个现有的学习算法从训练数据产生，例如 C4.5 决策树算法、 BP 神经网络算法等。当集成中只包含同种类型的个体学习器，例如"决策树集成" 中全是决策树，“神经网络集成"...
2020-10-27
bai1998的博客
10-27 190
第五周周报 第五周主要学习了数据挖掘之特征选择。 目录 1. 特征选择目的 2. 常用的特征选择方法 3. 思考与总结 1. 特征选择目的 减少特征数量、降维，使模型泛化能力更强，减少过拟合。 增强对特征和特征值之间的理解。 2. 常用的特征选择方法 方法介绍：假设某特征店小二特征值只有0和1，并且在所有输入样本中，95％的实例的该特征取值是1，那就可以认为这个特征作用不大。如果100％都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型...
实用机器学习笔记（六）：特征工程
Liu Feng's Blog
03-13 1238
文章目录1. Feature Engineering(特征工程)2. Tabular data features(表格数据)3. Text features (文本数据)4. image/video features (图片/视频数据)5. Summary 1. Feature Engineering(特征工程) Machine learning algorithms prefer well define fixed length input/output (机器学习更喜欢固定的输入输出) Feat
特征工程
yuandidazhuangi的博客
01-12 195
特征工程 特征合并 计算统计特征 groupby方法生成统计特征 聚类 log 特征选择 相关系数法 wrapper embedded 基于树模型的特征选择法 1特征工程 #核心代码举例 # 统计特征 #计算均值 gp = train.groupby(by)[fea].mean() #计算中位数 gp = train.gr...
预处理--python实现用随机森林评估特征的重要性
糯米君的博客
11-24 1万+
预处理：python实现用随机森林评估特征的重要性 随机森林根据森林中所有决策树计算平均不纯度的减少来测量特征的重要性，而不作任何数据是线性可分或不可分的假设。 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.preprocessing import MinMaxScaler from
极佳的特征工程教程——Understanding Feature Engineering
03-13
特征工程是机器学习建模最重要的一步，它直接决定了模型的效果。 近日数据科学家 Dipanjan Sarkar发表了几篇特征工程的深度好文，强烈推荐大家学习观摩！
Feature Engineering
04-14
特征工程，特征选择，Feature Engineering for machine learning
FEATURE ENGINEERING
11-24
一份不错的关于机器学习中特征工程的slides。 What is feature engineering? • Limits on number of features • How to select a “good” set of features • Standard FE techniques • TL;DR: As we get better...
sklearn-feature-engineering:使用sklearn做特征工程
04-30
sklearn-feature-engineering前言博主最近参加了几个kaggle比赛，发现做特征工程是其中很重要的一部分，而sklearn是做特征工程（做模型调算法）最常用也是最好用的工具没有之一，因此将自己的一些经验做一个总结分享...
利用随机森林做特征选择
keepreder
08-04 3万+
随机森林具有准确率高、鲁棒性好、易于使用等优点，这使得它成为了目前最流行的机器学习算法之一。随机森林提供了两种特征选择的方法：mean decrease impurity和mean decrease accuracy。 平均不纯度减少----mean decrease impurity         随机森林由多个决策树构成。决策树中的每一个节点都是关于某个特征的条件，为的是将数据集按照
特征工程（feature engineering）
hfutxiaoguozhi的博客
12-08 2万+
今天我们聊一聊特征工程方面的知识，随着大数据时代的到来，特征工程发挥着越来越重要的作用。那么什么是特征工程呢，简单说，就是发现对因变量y有明显影响作用的特征，通常称自变量x为特征，特征工程的目的是发现重要特征。一般来说，特征工程大体上可以分为三个方面，一是特征构造，而是特征选择，三是特征生成。三个方面当中，最重要的是特征选择，我们先简单讲一下，特征构造和特征生成，后面再将特征选择。当然一个特征工程
Pandas怎样实现groupby分组统计
xiaoliu的博客
05-10 1万+
一、如何实现分组统计 groupby：先对数据分组，然后在每个分组上应用聚合函数、转换函数 通过三个实例来了解pandas是如何实现分组统计的 一、分组使用聚合函数做数据统计 二、遍历groupby的结果理解执行流程 三、实例分组探索天气数据 导入数据 import pandas as pd import numpy as np # 加上这一句，能在jupyter notebook展示matplot图表 #%matplotlib inline df = pd.DataFrame({'A': ['foo',
Datawhale组队学习：数据竞赛（房价预测）课程任务
老马的程序人生
01-02 1420
背景 Datawhale 是国内很有名的一个开源学习组织。这个组织将渴望改变的学习者以及一群有能力有想法的青年人集结在一起，营造出一种互促高效的学习环境，一起为开源学习付出努力。 Datawhale 近期将推出三门课程的组队学习。我将第三门 数据竞赛（房价预测） 的任务发布出来。如果你愿意跟我们一起来学习这门课程，请留意我们近期公布的 “Datawhale第八期组队学习计划”。 “2019未来杯...
【Python】分组统计GroupBy技术详解
热门推荐
Asher117的博客
06-06 4万+
摘要 进行数据分析时，GroupBy分组统计是非常常用的操作，也是十分重要的操作之一。基本上大部分的数据分析都会用到该操作，本文将对Python的GroupBy分组统计操作进行讲解。 1.GroupBy过程 首先看看分组聚合的过程，主要包括拆分（split）、应用（Apply）和合并（Combine） 2.创建DataFrame import pandas as pd ipl_data = {...
Pandas怎样实现groupby分组统计（十五）
小龙龙品牌的博客
05-06 1344
类似SQL： select city,max(temperature) from city_weather group by city; groupby：先对数据分组，然后在每个分组上应用聚合函数、转换函数 本次演示： 一、分组使用聚合函数做数据统计 二、遍历groupby的结果理解执行流程 三、实例分组探索天气数据 1、创建数据和导入包 import pandas as pd import nu...
一些在kaggle中对于特征工程很好用的的函数
sinat_33264502的博客
09-18 427
在kaggle等数据竞赛中，特征工程是至关重要的一步。优秀的特征工程可以提高我们结果的上限，是对于提分来说需要下狠功夫的方向。本文就特征工程中会用到的方法来为大家推荐一些比较实用的函数。 1.用百分位数解决数据中的异常值 def base_process(df， trans_features:list, log_features: list): for col in trans_features: ulimit = np.percentile(df[col].value..
特征工程 Feature Engineering（一）
小麦粒的Python
08-30 7505
特征工程其本质上是一项工程活动，它的目的是最大限度地从原始数据中提取特征以供算法和模型使用。   数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。特征工程的最终目的就是提升模型的性能。   特征工程的重要性： 特征越好，灵活性越强 特征越好，模型越简单 特征越好，性能越出色
Maltab-机器学习-Engineering features
seek97的博客
09-13 320
Statistical Functions Measures of Central Tendency Function Description mean Arithmetic mean median Median (middle) value mode Most frequent value trimmean Trimmed mean (mean, excluding outliers) geomean Geometric mean harme
groupby多属性分组统计
多喝i热水的博客
12-04 1182
目录 Python SQL Python df = pd.DataFrame({'key1':['a','b','c','d','a','b','b'], 'key2':['one','one','one','one','one','one','one'], 'data1':['1','1','1','1','1',...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值