特征工程1

最新推荐文章于 2022-10-28 15:17:40 发布
最新推荐文章于 2022-10-28 15:17:40 发布
阅读量430 收藏 1
点赞数
分类专栏： Feature Engineering 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eerywh/article/details/107648021
版权

第二章 数据等级总结

import os 

os.listdir()

['.config', 'sample_data']

!git clone https://github.com/**********/Feature-Engineering-Made-Easy.git

Cloning into 'Feature-Engineering-Made-Easy'...
remote: Enumerating objects: 63, done.[K
remote: Total 63 (delta 0), reused 0 (delta 0), pack-reused 63[K
Unpacking objects: 100% (63/63), done.
Checking out files: 100% (62/62), done.

import numpy as np
import pandas as pd 
from matplotlib import pyplot as plt
import seaborn as sns

%matplotlib inline 
plt.style.use('fivethirtyeight')

/usr/local/lib/python3.6/dist-packages/statsmodels/tools/_testing.py:19: FutureWarning: pandas.util.testing is deprecated. Use the functions in the public API at pandas.testing instead.
  import pandas.util.testing as tm

customer = pd.read_csv('/content/Feature-Engineering-Made-Easy/data/2013_SFO_Customer_survey.csv')
customer.shape

(3535, 95)

customer.head()
RESPNUMCCGIDRUNINTDATEGATESTRATAPEAKMETHODAIRLINEFLIGHTDESTDESTGEODESTMARKARRTIMEDEPTIMEQ2PURP1Q2PURP2Q2PURP3Q2PURP4Q2PURP5Q2PURP6Q3GETTO1Q3GETTO2Q3GETTO3Q3GETTO4Q3GETTO5Q3GETTO6Q3PARKQ4BAGSQ4BUYQ4FOODQ4WIFIQ5FLYPERYRQ6TENURESAQQ7A_ARTQ7B_FOODQ7C_SHOPSQ7D_SIGNSQ7E_WALK...Q9C_CLNRENTQ9D_CLNFOODQ9E_CLNBATHQ9F_CLNWHOLEQ9COM1Q9COM2Q9COM3Q10SAFEQ10COM1Q10COM2Q10COM3Q11A_USEWEBQ11B_USESFOAPPQ11C_USEOTHAPPQ11D_USESOCMEDQ11E_USEWIFIQ12COM1Q12COM2Q12COM3Q13_WHEREDEPARTQ13_RATEGETTOQ14A_FINDQ14B_SECURITYQ15_PROBLEMSQ15COM1Q15COM2Q15COM3Q16_REGIONQ17_CITYQ17_ZIPQ17_COUNTRYHOMEQ18_AGEQ19_SEXQ20_INCOMEQ21_HIFLYERQ22A_USESJCQ22B_USEOAKLANGWEIGHT
011121521211121143749118:34 AM9:25 AM18.0NaNNaNNaNNaN210.0NaNNaNNaNNaNNaN212262.0134333...3344NaNNaNNaN51.0NaNNaN22222NaNNaNNaN53332NaNNaNNaN1SAN FRANCISCO94131.0US121122110.553675
122121521211121143749118:00 AM9:25 AM18.0NaNNaNNaNNaN210.0NaNNaNNaNNaNNaN222264.0144444...6444NaNNaNNaN51.0NaNNaN22223NaNNaNNaN23552NaNNaNNaN1CONCORD94521.0US561032110.553675
233121521211121143749117:00 AM9:25 AM18.0NaNNaNNaNNaN210.0NaNNaNNaNNaNNaN222244.0134424...3333NaNNaNNaN31.0NaNNaN22222NaNNaNNaN53332NaNNaNNaN1SAN FRANCISCO94134.0US142232210.553675
344121521211121143749117:30 AM9:25 AM18.0NaNNaNNaNNaN110.0NaNNaNNaNNaN1.0121234.0233344...5555NaNNaNNaN5NaNNaNNaN22222NaNNaNNaN53552NaNNaNNaN1NaNNaNUS9041222210.553675
455121521211121143749116:30 AM9:25 AM18.0NaNNaNNaNNaN810.0NaNNaNNaNNaNNaN211123.0233235...555587.0NaNNaN55.0NaNNaN222211.05.0NaN35432NaNNaNNaN3HUNTINGTON BEACH92646.0US1031310110.553675

5 rows Ă— 95 columns

定序等级

art_rating = customer['Q7A_ART']
art_rating.describe()

count    3535.000000
mean        4.300707
std         1.341445
min         0.000000
25%         3.000000
50%         4.000000
75%         5.000000
max         6.000000
Name: Q7A_ART, dtype: float64

art_ratings = art_rating[(art_rating>=1) & (art_rating<=5)]
art_ratings = art_ratings.astype(str)
art_ratings.describe()

count     2656
unique       5
top          4
freq      1066
Name: Q7A_ART, dtype: object

art_ratings.value_counts().plot(kind = 'bar');

在这里插入图片描述

art_ratings.value_counts().plot(kind = 'box')

在这里插入图片描述

定距等级

import zipfile

Dataset = "GlobalLandTemperaturesByCity.csv"

# Will unzip the files so that you can see them..
with zipfile.ZipFile("/content/Feature-Engineering-Made-Easy/data/"+Dataset+".zip","r") as z:
    z.extractall(".")


climate = pd.read_csv('/content/GlobalLandTemperaturesByCity.csv')
climate.head()
dtAverageTemperatureAverageTemperatureUncertaintyCityCountryLatitudeLongitude
01743-11-016.0681.737Ă rhusDenmark57.05N10.33E
11743-12-01NaNNaNĂ rhusDenmark57.05N10.33E
21744-01-01NaNNaNĂ rhusDenmark57.05N10.33E
31744-02-01NaNNaNĂ rhusDenmark57.05N10.33E
41744-03-01NaNNaNĂ rhusDenmark57.05N10.33E
climate.dropna(axis = 0,inplace = True)

climate.shape

(8235082, 7)

climate.isnull().sum()

dt                               0
AverageTemperature               0
AverageTemperatureUncertainty    0
City                             0
Country                          0
Latitude                         0
Longitude                        0
dtype: int64

climate.AverageTemperature.plot(kind='hist');

在这里插入图片描述

climate.dt.head()

0    1743-11-01
5    1744-04-01
6    1744-05-01
7    1744-06-01
8    1744-07-01
Name: dt, dtype: object

climate.dt = pd.to_datetime(climate.dt)

climate.dt.head()

0   1743-11-01
5   1744-04-01
6   1744-05-01
7   1744-06-01
8   1744-07-01
Name: dt, dtype: datetime64[ns]

climate['year'] = climate.dt.map(lambda value: value.year)

climate.head()
dtAverageTemperatureAverageTemperatureUncertaintyCityCountryLatitudeLongitudeyear
01743-11-016.0681.737Ă rhusDenmark57.05N10.33E1743
51744-04-015.7883.624Ă rhusDenmark57.05N10.33E1744
61744-05-0110.6441.283Ă rhusDenmark57.05N10.33E1744
71744-06-0114.0511.347Ă rhusDenmark57.05N10.33E1744
81744-07-0116.0821.396Ă rhusDenmark57.05N10.33E1744
# ĺŞçœ‹çžŽĺ›˝
climate_sub_us = climate.loc[climate['Country']== 'United States']

climate_sub_us.head()
dtAverageTemperatureAverageTemperatureUncertaintyCityCountryLatitudeLongitudeyear
475551820-01-012.1013.217AbileneUnited States32.95N100.53W1820
475561820-02-016.9262.853AbileneUnited States32.95N100.53W1820
475571820-03-0110.7672.395AbileneUnited States32.95N100.53W1820
475581820-04-0117.9892.202AbileneUnited States32.95N100.53W1820
475591820-05-0121.8092.036AbileneUnited States32.95N100.53W1820
climate_sub_us['Century'] = climate_sub_us['year'].map(lambda x: int(x/100+1))


/usr/local/lib/python3.6/dist-packages/ipykernel_launcher.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  """Entry point for launching an IPython kernel.

climate_sub_us['AverageTemperature'].hist(by=climate_sub_us['Century'],
 sharex=True, sharey=True, 
 figsize=(10, 10),
 bins=20);

在这里插入图片描述

climate_sub_us.groupby('Century')['AverageTemperature'].mean().plot(kind = 'line');

在这里插入图片描述

century_changes = climate_sub_us.groupby('Century')['AverageTemperature'].mean()

century_changes

Century
18    12.073243
19    13.662870
20    14.386622
21    15.197692
Name: AverageTemperature, dtype: float64

# ĺœ¨ĺŽščˇç­‰çş§çť˜ĺˆśä¸¤ĺˆ—ć•°ćŽ
x = climate_sub_us['year']
y = climate_sub_us['AverageTemperature']
fig,ax = plt.subplots(figsize = (12,5))
ax.scatter(x,y)
plt.show()

在这里插入图片描述

climate_sub_us.groupby('year').mean()['AverageTemperature'].plot()

<matplotlib.axes._subplots.AxesSubplot at 0x7fd022540c50>

在这里插入图片描述

# ä˝żç”¨ćť‘ĺŠ¨ĺ‡ĺ€źĺšłćť‘ĺ›žĺƒ
climate_sub_us.groupby('year').mean()['AverageTemperature'].rolling(10).mean().plot()

<matplotlib.axes._subplots.AxesSubplot at 0x7fd022121fd0>

在这里插入图片描述

定比等级

salary_ranges = pd.read_csv('/content/Feature-Engineering-Made-Easy/data/Salary_Ranges_by_Job_Classification.csv')


salary_ranges['Biweekly High Rate'] = salary_ranges['Biweekly High Rate'].map(lambda value: value.replace('$',''))
salary_ranges['Biweekly High Rate'] = salary_ranges['Biweekly High Rate'].astype(float)
salary_ranges['Grade'] = salary_ranges['Grade'].astype(str)

salary_ranges.head()
SetIDJob CodeEff DateSal End DateSalary SetIDSal PlanGradeStepBiweekly High RateBiweekly Low RateUnion CodeExtended StepPay Type
0COMMN010907/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM0000010.0$0.003300C
1COMMN011007/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM00000115.0$15.003230D
2COMMN011107/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM00000125.0$25.003230D
3COMMN011207/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM00000150.0$50.003230D
4COMMN011407/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM000001100.0$100.003230M
salary_ranges.groupby('Grade')['Biweekly High Rate'].mean().sort_values(ascending = False).head(20).plot(kind = 'bar')

<matplotlib.axes._subplots.AxesSubplot at 0x7fd020094400>

在这里插入图片描述

salary_ranges.head()
SetIDJob CodeEff DateSal End DateSalary SetIDSal PlanGradeStepBiweekly High RateBiweekly Low RateUnion CodeExtended StepPay Type
0COMMN010907/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM0000010.0$0.003300C
1COMMN011007/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM00000115.0$15.003230D
2COMMN011107/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM00000125.0$25.003230D
3COMMN011207/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM00000150.0$50.003230D
4COMMN011407/01/2009 12:00:00 AM06/30/2010 12:00:00 AMCOMMNSFM000001100.0$100.003230M
fig = plt.figure(figsize=(15,5))
ax = fig.gca()
salary_ranges.groupby('Grade')[['Biweekly High Rate']].mean().sort_values('Biweekly High Rate',ascending = False).head(20).plot.bar(stacked =False,ax = ax,color = 'darkorange')
ax.set_title('Top 20 Grade by Mean Biweekly High Rate')

Text(0.5, 1.0, 'Top 20 Grade by Mean Biweekly High Rate')

在这里插入图片描述



fig = plt.figure(figsize=(15,5))
ax = fig.gca()
salary_ranges.groupby('Grade')[['Biweekly High Rate']].mean().sort_values('Biweekly High Rate',ascending = False).tail(20).plot.bar(stacked =False,ax = ax,color = 'darkorange')
ax.set_title('Bottom 20 Grade by Mean Biweekly High Rate')

Text(0.5, 1.0, 'Bottom 20 Grade by Mean Biweekly High Rate')

在这里插入图片描述

sorted_df =salary_ranges.groupby('Grade')[['Biweekly High Rate']].mean().sort_values('Biweekly High Rate',ascending = False)

sorted_df.head()
Biweekly High Rate
Grade
9186F12120.77
0390F11255.00
0140H10843.00
0140F10630.00
0395F10376.00
sorted_df.iloc[0]

Biweekly High Rate    12120.77
Name: 9186F, dtype: float64

sorted_df.iloc[0][0] / sorted_df.iloc[-1][0]

13.931919540229886
Up_梅子酒
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据预处理 01处理
Qton_CSDN的博客
04-22 1340
前面机器学习 K-近邻算法（一）博客中值为连续值。我们要进行朴素贝叶斯分类时需要对数据进行离散处理，简单的是进行01处理。 1 首先，惯例pandas读取数据变成DataFrame,查看数据及数据描述。（如需数据请留言，博客没办法上传附件请见谅） import time import numpy as np import pandas as pd group = pd.
人脸特征工程1
08-03
特征工程在IT领域，尤其是深度学习和机器学习中扮演着至关重要的角色。它涉及将原始数据转换成更有意义、更能反映问题本质的形式。本文主要探讨了两种特征工程的方法：一种是固定参数的网络架构，如PCANet，另一种是...
机器学习实战：K-临近算法（2）
Lomo的博客
10-25 182
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...
数据预处理-定类数据处理 定类离散特征转化为One-Hot-Encoding独热编码
FishBean的博客
12-29 1709
数据处理-将整数编码转为实际对应的字符串 定类离散特征转化为One-Hot-Encoding独热编码
python将数据集分成训练样本和类标签
Mr.horse的博客
11-10 1万+
这里假设 类标签为largeDoses, smallDoses, didntLike三类，假设训练样本有三个特征属性，类标签放在数据集的最后一列 import numpy as np def file2matrix(filename): # filename是文件保存地址 love_dictionary = {'largeDoses':3, 'smallDoses':2, 'did...
机器学习实战-读书笔记(一)
LiuKe369的博客
07-29 513
第二章 1.简单KNN模型 1.1创建数据集 from numpy import * import operator def createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[ labels = ['A','A','B','B'] return group, labels 测速创造的数据集 &g...
8.特征工程1
08-03
1. 在获取的数据中经常会遇到唯一属性，这些属性通常是人为添加的一些 id 属性，如存放在数据库中的自增的 2. 对于数据中的某个属性，如果其方差很小，则意味着
特征工程1.ipynb
最新发布
12-14
特征工程1.ipynb
62. 特征工程1
08-03
1.特征工程是什么 2.数据预处理 3.特征选择 4.降维 1.特征工程是什么 2.数据预处理 1. 不属于同一量纲：特征的规格不一样，不能放在一起比较 2.
《精通特征工程》示例代码.zip
05-22
1. **数据预处理**：在进行特征工程之前，首先需要对原始数据进行清洗，处理缺失值（如填充或删除）、异常值（识别和处理）以及数据类型转换。此外，标准化（如Z-score标准化）和归一化（如最小-最大归一化）也是...
mnist 数字手写识别库生成的以样本号加上标签命名的png图集
05-18
mnist 里的图片以png（png文件名里包含样本号和标签）保存的数据集，可以下载使用，是数字0~9的手写图片
机器学习算法 01 —— K-近邻算法(数据集划分、归一化、标准化)
zcy的博客
08-11 8321
文章目录系列文章K-近邻算法1 什么是K-仅邻算法1.1 K-近邻算法(KNN)概念1.2 举例说明K-近邻算法1.3 K-近邻算法流程总结2 K-近邻算法API初步使用2.1 Scikit-learn工具介绍2.2 K-近邻算法API3 距离公式3.1 距离公式基本性质3.2 常见的举例公式欧式距离(Euclidean Distance)曼哈顿距离(Manhattan Distance)切⽐雪夫距离 (Chebyshev Distance)闵可夫斯基距离(Minkowski Distance)3.3 “连
【NLP基础理论】01 数据预处理
草鸟的博客
03-13 1345
NLP自然语言处理基础理论 - 01 预处理
决策树将标签和影响因子01化
weixin_42975688的博客
04-21 193
决策树将标签和影响因子01化（数据01化） import graphviz from sklearn.feature_extraction import DictVectorizer from sklearn import tree from sklearn import preprocessing import csv DTree=open(r'AllElectronics.csv','r') reader=csv.reader(DTree) headers=reader.__next__() feat
2.数据库常用数据类型
weixin_37714766的博客
01-10 267
数据库常用数据类型 1.整型（4类） 常用：int 2.浮点（小数） float（单精度） eg：float或float(6,3) 总长度6位，小数点后保留3位 double（双精度） eg：同上 3.字符串 常用：char(定长) 和 varchar（变长) eg：char（n），varchar(n)。n为最大存储位数，初始char为n个空间，不足n补空格；varchar为0个空间，随用随增。 ...
Numpy中使用loadtxt获取单一列数据时设置usecols参数的方法
热门推荐
kbawyg的专栏
04-05 4万+
loadtxt是Numpy中读取数据文件的一个函数
机器学习实战之k-近邻算法（二）
qq_45749702的博客
10-09 312
1、KNN之电影分类 给一部新电影，如何判断它是爱情片还是动作片？可以根据接吻或是打斗镜头的次数来判断。将这部电影与已带有标签的众多电影比较，计算他们之间的欧式距离，按距离排序，找到最短的k个（下面用3个来说），然后看这k个里有几个是属于爱情电影，几个属于动作电影；最后根据最多的个数，来判断这部新电影是什么类型。 1.1 代码实现 首先，我们要创建一个数据集，里面有两个数组，一个存放接吻/打斗次数，一个存放它们的标签 def createDataSet(): # 四组二维特征 group =
Python -- Sklearn：MinMaxScaler（将数据预处理为(0,1)上的数）
math_gao的博客
11-16 1万+
方法一：自定义处理 # 将数据scale为(0,1)间数据 scaled_df = (df - df.min()) / (df.max()-df.min()) # 将(0,1)间数据scale回原来的范围 scaled_df * (df.max() - df.min()) + df.min() 方法二：MinMaxscaler from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler(feature_range=(0,
阿旭机器学习实战【4】KNN算法实战练习1：利用KNN算法预测某人对你喜欢程度
阿旭的博客
10-28 340
机器学习实战【4】KNN算法实战练习1：通过KNN算法预测某人对你喜欢程度

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值