机器学习实战 美国50K工资分类

最新推荐文章于 2023-12-21 09:57:26 发布
最新推荐文章于 2023-12-21 09:57:26 发布
阅读量1.9k 收藏 12
点赞数 1
分类专栏： python数据分析总结 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33489955/article/details/118192840
版权

目录


参考：
数据处理 https://cloud.tencent.com/developer/article/1338337
数据分析 https://zhuanlan.zhihu.com/p/297955188
多种方法使用 https://blog.csdn.net/weixin_37379106/article/details/103569653

1. 导入数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

df = pd.read_csv('adults.csv')
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 32561 entries, 0 to 32560
Data columns (total 15 columns):
 #   Column          Non-Null Count  Dtype 
---  ------          --------------  ----- 
 0   age             32561 non-null  int64 
 1   workclass       32561 non-null  object
 2   final_weight    32561 non-null  int64 
 3   education       32561 non-null  object
 4   education_num   32561 non-null  int64 
 5   marital_status  32561 non-null  object
 6   occupation      32561 non-null  object
 7   relationship    32561 non-null  object
 8   race            32561 non-null  object
 9   sex             32561 non-null  object
 10  capital_gain    32561 non-null  int64 
 11  capital_loss    32561 non-null  int64 
 12  hours_per_week  32561 non-null  int64 
 13  native_country  32561 non-null  object
 14  salary          32561 non-null  object
dtypes: int64(6), object(9)
memory usage: 3.7+ MB

df.head()
ageworkclassfinal_weighteducationeducation_nummarital_statusoccupationrelationshipracesexcapital_gaincapital_losshours_per_weeknative_countrysalary
039State-gov77516Bachelors13Never-marriedAdm-clericalNot-in-familyWhiteMale2174040United-States<=50K
150Self-emp-not-inc83311Bachelors13Married-civ-spouseExec-managerialHusbandWhiteMale0013United-States<=50K
238Private215646HS-grad9DivorcedHandlers-cleanersNot-in-familyWhiteMale0040United-States<=50K
353Private23472111th7Married-civ-spouseHandlers-cleanersHusbandBlackMale0040United-States<=50K
428Private338409Bachelors13Married-civ-spouseProf-specialtyWifeBlackFemale0040Cuba<=50K
df.workclass.value_counts()

Private             22696
Self-emp-not-inc     2541
Local-gov            2093
?                    1836
State-gov            1298
Self-emp-inc         1116
Federal-gov           960
Without-pay            14
Never-worked            7
Name: workclass, dtype: int64

df.salary.value_counts()

<=50K    24720
>50K      7841
Name: salary, dtype: int64

2. 处理数据

2.1缺失值处理

# 缺失值都是用  ? 替换的，首先将其移除:
clean_df = df
clean_df = clean_df.replace('?',np.nan).dropna()
df = df.replace('?',np.nan)
clean_df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 30162 entries, 0 to 32560
Data columns (total 15 columns):
 #   Column          Non-Null Count  Dtype 
---  ------          --------------  ----- 
 0   age             30162 non-null  int64 
 1   workclass       30162 non-null  object
 2   final_weight    30162 non-null  int64 
 3   education       30162 non-null  object
 4   education_num   30162 non-null  int64 
 5   marital_status  30162 non-null  object
 6   occupation      30162 non-null  object
 7   relationship    30162 non-null  object
 8   race            30162 non-null  object
 9   sex             30162 non-null  object
 10  capital_gain    30162 non-null  int64 
 11  capital_loss    30162 non-null  int64 
 12  hours_per_week  30162 non-null  int64 
 13  native_country  30162 non-null  object
 14  salary          30162 non-null  object
dtypes: int64(6), object(9)
memory usage: 3.7+ MB

2.2 探索数据（对df进行数据探索，df为将’?’ 替换为np.nan 的数据集，clean_df 为删除了’?'所在行的数据集）

import seaborn as sns
%matplotlib inline

#检查数据相关性
sns.heatmap(df.corr()
           ,annot=True
           ,center=0
           ,linewidth=0.8)

<AxesSubplot:>

​
在这里插入图片描述

​

直接检查相关性似乎并不妥当，因为数据并不都是数值类型

# 年龄分布
sns.set_style('whitegrid')
plt.subplots(figsize=(15,8))
s = df['age'].value_counts()
sns.barplot(s.index,s.values)

C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.
  warnings.warn(





<AxesSubplot:>

​
在这里插入图片描述

​

df.age.mean() # 平均年龄

38.58164675532078



# 第一，年龄和工资的关系
s=df['age'].value_counts()
k=df['age'][df['salary']=='>50K'].value_counts()
sns.set_style("whitegrid")
f, ax = plt.subplots(figsize=(18, 9))
sns.set_color_codes("pastel")
sns.barplot(s.index,s.values,label='total',color="b")
sns.barplot(k.index,k.values,label='income>50K',color="g")
ax.legend(ncol=2, loc="upper left", frameon=True)

C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.
  warnings.warn(
C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.
  warnings.warn(





<matplotlib.legend.Legend at 0x208a75380a0>

​
在这里插入图片描述

​

# 第二，教育水平# 高中毕业人数有将近1.6万人，其次是大学肄业plt.subplots(figsize=(15,6))s = df['education'].value_counts()sns.barplot(s.index,s.values)

C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(





<AxesSubplot:>

​
在这里插入图片描述

df['education_num'].value_counts()

9     1050110     729113     535514     172311     13827      117512     10676       9334       64615      5765       5148       43316      4133       3332       1681        51Name: education_num, dtype: int64

edu_n = df.groupby(['education','education_num'])['education'].count()edu_n

education     education_num10th          6                  93311th          7                 117512th          8                  4331st-4th       2                  1685th-6th       3                  3337th-8th       4                  6469th           5                  514Assoc-acdm    12                1067Assoc-voc     11                1382Bachelors     13                5355Doctorate     16                 413HS-grad       9                10501Masters       14                1723Preschool     1                   51Prof-school   15                 576Some-college  10                7291Name: education, dtype: int64

education 和 educational-num 是一一对应关系，做算法模型时可以删除一列。

education是分类变量，educational-num是数值变量，受教育水平是有顺序的，数字大小是有比较意义的，因此保留education-num。

s

HS-grad         10501Some-college     7291Bachelors        5355Masters          1723Assoc-voc        138211th             1175Assoc-acdm       106710th              9337th-8th           646Prof-school       5769th               51412th              433Doctorate         4135th-6th           3331st-4th           168Preschool          51Name: education, dtype: int64

edu_hsalary = df['education'][df['salary']=='>50K'].value_counts()edu_lsalary = df['education'][df['salary']=='<=50K'].value_counts()edu_high_percent = edu_hsalary/sedu_low_percent = edu_lsalary/sfig = plt.figure(figsize=(15,6))sns.barplot(edu_high_percent.index,edu_high_percent.values,color='red',label='edu_high_salary')sns.barplot(edu_low_percent.index,edu_low_percent.values,bottom = edu_high_percent,color='yellow',label='edu_low_salary')fig.legend(ncol=2,loc='upper center',frameon=True)

C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(





<matplotlib.legend.Legend at 0x208a73f1ca0>

​
在这里插入图片描述

可以看到超过50K占比最高依次是,Prof-school，Doctorate,Masters,Bachelors 跟学习年限呈现正相关性。

# 第三，婚姻状况f,ax = plt.subplots(figsize=(11,6))s=df['marital_status'].value_counts()sns.barplot(s.index,s.values)ax.set_xticklabels(ax.get_xticklabels(),rotation=45)

C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(





[Text(0, 0, 'Married-civ-spouse'), Text(1, 0, 'Never-married'), Text(2, 0, 'Divorced'), Text(3, 0, 'Separated'), Text(4, 0, 'Widowed'), Text(5, 0, 'Married-spouse-absent'), Text(6, 0, 'Married-AF-spouse')]

​
在这里插入图片描述

mer_hsalary=df['marital_status'][df['salary']=='>50K'].value_counts()mer_lsalary=df['marital_status'][df['salary']=='<=50K'].value_counts()f,ax = plt.subplots(figsize=[12,6])sns.barplot(mer_hsalary.index,mer_hsalary.values,color='blue',alpha = 0.7,label='mer_low_salary')sns.barplot(mer_lsalary.index,mer_lsalary.values,color='yellow',alpha = 0.5,label='mer_high_salary')ax.legend(ncol=2,loc='upper center',frameon=True)

C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(





<matplotlib.legend.Legend at 0x208a7e41eb0>

​
在这里插入图片描述

​

可以看到已婚和收入高低有正相关性，但还不能说明因此有因果关系。

# 第四、职业分布以及和收入关系plt.subplots(figsize=(8,8))s=df['occupation'].value_counts()sns.barplot(y=s.index,x=s.values)

<AxesSubplot:>

​
在这里插入图片描述

​

从业人数前三分别是Prof-specialty,Craft-repair,Exec-managerial

occ_hsalary=df['occupation'][df['salary']=='>50K'].value_counts()occ_lsalary=df['occupation'][df['salary']=='<=50K'].value_counts()f,ax=plt.subplots(figsize=[12,6])a=s.indexsns.barplot(y=occ_hsalary.index,x=occ_hsalary.values,color='yellow',order=a,alpha = 0.7,label='occ_low_salary')sns.barplot(y=occ_lsalary.index,x=occ_lsalary.values,color='blue',order=a,alpha=0.5,label='occ_high_salary')ax.legend(ncol=2, loc="lower center", frameon=True)

<matplotlib.legend.Legend at 0x208a841b400>

​
在这里插入图片描述

​

可以看出高收入占比比较高的是Exec-managerial、Prof-specialty，比较低的是Handlers-cleaners、Farming-fishing，比较符合我们的日常认知。

# 5 家庭plt.subplots(figsize=(8,8))s=df['relationship'].value_counts()plt.pie(s.values,labels=s.index,autopct='%1.1f%%')

([<matplotlib.patches.Wedge at 0x208a87cb4c0>,  <matplotlib.patches.Wedge at 0x208a87cbc10>,  <matplotlib.patches.Wedge at 0x208a87d72e0>,  <matplotlib.patches.Wedge at 0x208a87d7970>,  <matplotlib.patches.Wedge at 0x208a87d7fa0>,  <matplotlib.patches.Wedge at 0x208a87e66d0>], [Text(0.3228564400293403, 1.0515530034817937, 'Husband'),  Text(-1.0768528506930521, -0.22447257728784475, 'Not-in-family'),  Text(-0.08243982298868217, -1.0969064114980798, 'Own-child'),  Text(0.7469351484545255, -0.8075195873805269, 'Unmarried'),  Text(1.0368150199444963, -0.3674433485824635, 'Wife'),  Text(1.0950764363882008, -0.10395960016909805, 'Other-relative')], [Text(0.1761035127432765, 0.5735743655355238, '40.5%'),  Text(-0.5873742821962102, -0.12243958761155167, '25.5%'),  Text(-0.04496717617564482, -0.5983125880898617, '15.6%'),  Text(0.40741917188428656, -0.4404652294802873, '10.6%'),  Text(0.5655354654242707, -0.20042364468134374, '4.8%'),  Text(0.5973144198481095, -0.05670523645587165, '3.0%')])

​
在这里插入图片描述

​

# 种族plt.subplots(figsize=(8,8))s=df['race'].value_counts()plt.pie(s.values,labels=s.index,autopct='%1.1f%%')

([<matplotlib.patches.Wedge at 0x208a883a7f0>,  <matplotlib.patches.Wedge at 0x208a883af10>,  <matplotlib.patches.Wedge at 0x208a884a5e0>,  <matplotlib.patches.Wedge at 0x208a884ac70>,  <matplotlib.patches.Wedge at 0x208a8856370>], [Text(-0.9867232454903924, 0.486186421868101, 'White'),  Text(0.898950111132619, -0.6339469202501515, 'Black'),  Text(1.0752451188481307, -0.23205157701095105, 'Asian-Pac-Islander'),  Text(1.0962767570479313, -0.0904282696753132, 'Amer-Indian-Eskimo'),  Text(1.0996240020243266, -0.028758549546243486, 'Other')], [Text(-0.5382126793583958, 0.2651925937462369, '85.4%'),  Text(0.4903364242541558, -0.3457892292273554, '9.6%'),  Text(0.5864973375535257, -0.12657358746051875, '3.2%'),  Text(0.5979691402079624, -0.04932451073198901, '1.0%'),  Text(0.5997949101950872, -0.015686481570678264, '0.8%')])

​
在这里插入图片描述

​

# 6 性别df['sex'].value_counts()

Male      21790Female    10771Name: sex, dtype: int64

# 7 资本收益和损失plt.subplots(figsize=(7,5))sns.distplot(df['capital_loss'][df['capital_loss']!=0])

C:\Anaconda\lib\site-packages\seaborn\distributions.py:2551: FutureWarning: `distplot` is a deprecated function and will be removed in a future version. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-level function for histograms).  warnings.warn(msg, FutureWarning)





<AxesSubplot:xlabel='capital_loss', ylabel='Density'>

​
在这里插入图片描述

资本损失密度函数，峰值在2000左右，呈现正态分布

plt.subplots(figsize=(7,5))sns.distplot(df['capital_gain'][df['capital_gain']!=0])

C:\Anaconda\lib\site-packages\seaborn\distributions.py:2551: FutureWarning: `distplot` is a deprecated function and will be removed in a future version. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-level function for histograms).  warnings.warn(msg, FutureWarning)





<AxesSubplot:xlabel='capital_gain', ylabel='Density'>

​
在这里插入图片描述

收益普遍比较高，在10万美金出现很多极值

df['capital_gain'][(df['capital_gain']!=0)|df['capital_loss']].agg(['mean','count'])

mean     8293.387852count    4231.000000Name: capital_gain, dtype: float64

df['capital_loss'][(df['capital_gain']!=0)|df['capital_loss']].agg(['mean','count'])

mean      671.874261count    4231.000000Name: capital_loss, dtype: float64

在有资本收益损失的调查人群6317人中，其中资本获益人均8343，资本损失人均676，看来行情不错。

gain_age=df.groupby(['age'])['capital_gain'].sum()loss_age=df.groupby(['age'])['capital_loss'].sum()fig =plt.figure(figsize=(15,6))sns.barplot(gain_age.index,gain_age.values,color='yellow',alpha=0.7,label='capital_gain')sns.barplot(loss_age.index,loss_age.values,color='red',alpha = 0.3,label='capital_loss')fig.legend(ncol=2, loc="upper center", frameon=True)

C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(C:\Anaconda\lib\site-packages\seaborn\_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.  warnings.warn(





<matplotlib.legend.Legend at 0x208a834b550>

​
在这里插入图片描述

看下分年龄的资本收入情况对比。

# 8 工作时长plt.subplots(figsize=(9,5))sns.distplot(df['hours_per_week'])

C:\Anaconda\lib\site-packages\seaborn\distributions.py:2551: FutureWarning: `distplot` is a deprecated function and will be removed in a future version. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-level function for histograms).  warnings.warn(msg, FutureWarning)





<AxesSubplot:xlabel='hours_per_week', ylabel='Density'>

​
在这里插入图片描述

接近50%的人是每周工作40个小时。

plt.subplots(figsize=(8, 9))s=df['native_country'][df['native_country']!='United-States'].value_counts()sns.barplot(y=s.index,x=            s.values)

<AxesSubplot:>

​
在这里插入图片描述

可以看到前三移民来源国是Mexico，Philippines，Germany

2.3 缺失值情况分析

import missingno as msno # 可视化缺失值的库

df.info()

<class 'pandas.core.frame.DataFrame'>RangeIndex: 32561 entries, 0 to 32560Data columns (total 15 columns): #   Column          Non-Null Count  Dtype ---  ------          --------------  -----  0   age             32561 non-null  int64  1   workclass       30725 non-null  object 2   final_weight    32561 non-null  int64  3   education       32561 non-null  object 4   education_num   32561 non-null  int64  5   marital_status  32561 non-null  object 6   occupation      30718 non-null  object 7   relationship    32561 non-null  object 8   race            32561 non-null  object 9   sex             32561 non-null  object 10  capital_gain    32561 non-null  int64  11  capital_loss    32561 non-null  int64  12  hours_per_week  32561 non-null  int64  13  native_country  31978 non-null  object 14  salary          32561 non-null  objectdtypes: int64(6), object(9)memory usage: 3.7+ MB

三列有缺失,workclass,occupation,native_country

msno.bar(df)

<AxesSubplot:>

​
在这里插入图片描述

绘制缺失值热力图。利用热力图可以观察多个特征两两的相似度，相似度由皮尔逊相关系数度量。

occupation和workclass为1表明这两个变量在数据集中是同步缺失的。

msno.heatmap(df,figsize=(3,2))

<AxesSubplot:>

​
在这里插入图片描述

​

分别对训练集和测试集绘制缺失值矩阵图。矩阵图中白线越多，代表缺失值越多。

结果表明workclass和occupation相比于native_country有更多的缺失值

msno.matrix(df,figsize=(6,3))

<AxesSubplot:>

​
在这里插入图片描述

工作类型workclass和职业occupation分别有5.63%和5.66%的缺失，原籍native_country有1.79%缺失

temp = df.apply(lambda x:x.isna().sum()/len(x))# temp = temp.loc[:,(temp!=0).any()]temp

age               0.000000workclass         0.056386final_weight      0.000000education         0.000000education_num     0.000000marital_status    0.000000occupation        0.056601relationship      0.000000race              0.000000sex               0.000000capital_gain      0.000000capital_loss      0.000000hours_per_week    0.000000native_country    0.017905salary            0.000000dtype: float64

temp.plot(kind='bar',figsize=(8,4))

<AxesSubplot:>

​
在这里插入图片描述

2.4 数据处理 及特征工程

发现数据存在occupation缺失而workclass为"Never-worked"的情况，反之则不存在。

这是由于无工作者没有职业，此部分可直接将这些occupation填补为一个新的类即可。

df[['occupation','workclass']][(df['occupation'].isna()==True) & (df['workclass'].isna()==False)]
occupationworkclass
5361NaNNever-worked
10845NaNNever-worked
14772NaNNever-worked
20337NaNNever-worked
23232NaNNever-worked
32304NaNNever-worked
32314NaNNever-worked
df.loc[df['workclass']=='Never_worked','occupation'] = 'Never_worked'

df['workclass'].value_counts()

Private             22696Self-emp-not-inc     2541Local-gov            2093State-gov            1298Self-emp-inc         1116Federal-gov           960Without-pay            14Never-worked            7Name: workclass, dtype: int64

df.head()
ageworkclassfinal_weighteducationeducation_nummarital_statusoccupationrelationshipracesexcapital_gaincapital_losshours_per_weeknative_countrysalary
039State-gov77516Bachelors13Never-marriedAdm-clericalNot-in-familyWhiteMale2174040United-States<=50K
150Self-emp-not-inc83311Bachelors13Married-civ-spouseExec-managerialHusbandWhiteMale0013United-States<=50K
238Private215646HS-grad9DivorcedHandlers-cleanersNot-in-familyWhiteMale0040United-States<=50K
353Private23472111th7Married-civ-spouseHandlers-cleanersHusbandBlackMale0040United-States<=50K
428Private338409Bachelors13Married-civ-spouseProf-specialtyWifeBlackFemale0040Cuba<=50K
df.sex.value_counts()

Male      21790Female    10771Name: sex, dtype: int64

data = df.copy(deep=True)

# 处理性别data['sex'] = 1*(data['sex']=='Male')

data.head()
ageworkclassfinal_weighteducationeducation_nummarital_statusoccupationrelationshipracesexcapital_gaincapital_losshours_per_weeknative_countrysalary
039State-gov77516Bachelors13Never-marriedAdm-clericalNot-in-familyWhite12174040United-States<=50K
150Self-emp-not-inc83311Bachelors13Married-civ-spouseExec-managerialHusbandWhite10013United-States<=50K
238Private215646HS-grad9DivorcedHandlers-cleanersNot-in-familyWhite10040United-States<=50K
353Private23472111th7Married-civ-spouseHandlers-cleanersHusbandBlack10040United-States<=50K
428Private338409Bachelors13Married-civ-spouseProf-specialtyWifeBlack00040Cuba<=50K
# 删除educationdel data['education']

data.head()
ageworkclassfinal_weighteducation_nummarital_statusoccupationrelationshipracesexcapital_gaincapital_losshours_per_weeknative_countrysalary
039State-gov7751613Never-marriedAdm-clericalNot-in-familyWhite12174040United-States<=50K
150Self-emp-not-inc8331113Married-civ-spouseExec-managerialHusbandWhite10013United-States<=50K
238Private2156469DivorcedHandlers-cleanersNot-in-familyWhite10040United-States<=50K
353Private2347217Married-civ-spouseHandlers-cleanersHusbandBlack10040United-States<=50K
428Private33840913Married-civ-spouseProf-specialtyWifeBlack00040Cuba<=50K
# 处理salary 标签 data['salary'] = 1*(df['salary']=='>50K')

data.salary.value_counts()

0    247201     7841Name: salary, dtype: int64

data.head(5)
ageworkclassfinal_weighteducation_nummarital_statusoccupationrelationshipracesexcapital_gaincapital_losshours_per_weeknative_countrysalary
039State-gov7751613Never-marriedAdm-clericalNot-in-familyWhite12174040United-States0
150Self-emp-not-inc8331113Married-civ-spouseExec-managerialHusbandWhite10013United-States0
238Private2156469DivorcedHandlers-cleanersNot-in-familyWhite10040United-States0
353Private2347217Married-civ-spouseHandlers-cleanersHusbandBlack10040United-States0
428Private33840913Married-civ-spouseProf-specialtyWifeBlack00040Cuba0
# 删除需要独热编码的列，防止列名重复导致编码失败data.drop(['workclass','marital_status','occupation','relationship','race','native_country'],axis=1,inplace=True)

data.head()
agefinal_weighteducation_numsexcapital_gaincapital_losshours_per_weeksalary
0397751613121740400
1508331113100130
2382156469100400
3532347217100400
42833840913000400
df.head()
ageworkclassfinal_weighteducationeducation_nummarital_statusoccupationrelationshipracesexcapital_gaincapital_losshours_per_weeknative_countrysalary
039State-gov77516Bachelors13Never-marriedAdm-clericalNot-in-familyWhiteMale2174040United-States<=50K
150Self-emp-not-inc83311Bachelors13Married-civ-spouseExec-managerialHusbandWhiteMale0013United-States<=50K
238Private215646HS-grad9DivorcedHandlers-cleanersNot-in-familyWhiteMale0040United-States<=50K
353Private23472111th7Married-civ-spouseHandlers-cleanersHusbandBlackMale0040United-States<=50K
428Private338409Bachelors13Married-civ-spouseProf-specialtyWifeBlackFemale0040Cuba<=50K
data = data.join(pd.get_dummies(df.workclass))

data = data.join(pd.get_dummies(df.marital_status))

data.columns

Index(['age', 'final_weight', 'education_num', 'sex', 'capital_gain',       'capital_loss', 'hours_per_week', 'salary', 'Federal-gov', 'Local-gov',       'Never-worked', 'Private', 'Self-emp-inc', 'Self-emp-not-inc',       'State-gov', 'Without-pay', 'Divorced', 'Married-AF-spouse',       'Married-civ-spouse', 'Married-spouse-absent', 'Never-married',       'Separated', 'Widowed'],      dtype='object')

data = data.join(pd.get_dummies(df.occupation))

data.head()
agefinal_weighteducation_numsexcapital_gaincapital_losshours_per_weeksalaryFederal-govLocal-gov...Farming-fishingHandlers-cleanersMachine-op-inspctOther-servicePriv-house-servProf-specialtyProtective-servSalesTech-supportTransport-moving
039775161312174040000...0000000000
150833111310013000...0000000000
238215646910040000...0100000000
353234721710040000...0100000000
4283384091300040000...0000010000

5 rows × 37 columns



data = data.join(pd.get_dummies(df.relationship))data = data.join(pd.get_dummies(df.race))data = data.join(pd.get_dummies(df.native_country))

data.head()
agefinal_weighteducation_numsexcapital_gaincapital_losshours_per_weeksalaryFederal-govLocal-gov...PortugalPuerto-RicoScotlandSouthTaiwanThailandTrinadad&TobagoUnited-StatesVietnamYugoslavia
039775161312174040000...0000000100
150833111310013000...0000000100
238215646910040000...0000000100
353234721710040000...0000000100
4283384091300040000...0000000000

5 rows × 89 columns

3. 训练

3.1 划分数据集

data_ = data.copy(deep=True)

y = data_.salary

del data_['salary']



X = data_.iloc[:,:]

X.head()
agefinal_weighteducation_numsexcapital_gaincapital_losshours_per_weekFederal-govLocal-govNever-worked...PortugalPuerto-RicoScotlandSouthTaiwanThailandTrinadad&TobagoUnited-StatesVietnamYugoslavia
039775161312174040000...0000000100
150833111310013000...0000000100
238215646910040000...0000000100
353234721710040000...0000000100
4283384091300040000...0000000000

5 rows × 88 columns

from sklearn.model_selection import train_test_split

x_train,x_test,y_train,y_test = train_test_split(X,y)

1.随机森林

from sklearn.model_selection import GridSearchCVfrom sklearn.ensemble import RandomForestClassifier

# 随机森林调参，跑了几个小时才跑完

# RF = RandomForestClassifier()# param_grid = {'max_features':['auto','sqrt','log2'],#               'max_depth':np.arange(1,15),#               'min_samples_leaf':np.arange(1,20),#               'min_samples_split':[0.1,0.3,0.5],#               'criterion':['gini','entropy']#              }# GS = GridSearchCV(RF,param_grid=param_grid,cv=5,scoring='roc_auc').fit(x_train,y_train)# print(GS.best_params_)# print(GS.best_score_)# print(GS.best_estimator_)"""{'criterion': 'gini', 'max_depth': 12, 'max_features': 'auto', 'min_samples_leaf': 1, 'min_samples_split': 0.1}0.9044572707834764RandomForestClassifier(max_depth=12, min_samples_split=0.1)"""

"\n{'criterion': 'gini', 'max_depth': 12, 'max_features': 'auto', 'min_samples_leaf': 1, 'min_samples_split': 0.1}\n0.9044572707834764\nRandomForestClassifier(max_depth=12, min_samples_split=0.1)\n"

RF = RandomForestClassifier(criterion='gini', max_depth = 12, max_features='auto', min_samples_leaf = 3, min_samples_split = 0.1).fit(x_train,y_train)

RF.score(x_train,y_train)

0.8416871416871416

from sklearn.metrics import classification_report

print(classification_report(y_test,RF.predict(x_test)))

              precision    recall  f1-score   support           0       0.85      0.97      0.91      6170           1       0.82      0.47      0.60      1971    accuracy                           0.85      8141   macro avg       0.84      0.72      0.75      8141weighted avg       0.84      0.85      0.83      8141

​

2 SVM 支持向量机

from sklearn import svm

svc_bal = svm.SVC(class_weight='balanced')  #自动调整不平衡样本svc_bal.fit(x_train,y_train)

SVC(class_weight='balanced')

print(classification_report(y_test,svc_bal.predict(x_test)))

              precision    recall  f1-score   support           0       0.79      0.99      0.88      6170           1       0.86      0.19      0.31      1971    accuracy                           0.80      8141   macro avg       0.83      0.59      0.60      8141weighted avg       0.81      0.80      0.74      8141

​

3 逻辑回归

from sklearn.linear_model import LogisticRegression,LogisticRegressionCV

4 Adaboost

from sklearn.ensemble import AdaBoostClassifierfrom sklearn.tree import DecisionTreeClassifier

ada = AdaBoostClassifier(    base_estimator = DecisionTreeClassifier(max_depth=2),    n_estimators=50,    learning_rate=1.0).fit(x_train,y_train)

print(classification_report(y_test,ada.predict(x_test)))

              precision    recall  f1-score   support           0       0.89      0.94      0.92      6170           1       0.78      0.64      0.70      1971    accuracy                           0.87      8141   macro avg       0.83      0.79      0.81      8141weighted avg       0.86      0.87      0.86      8141

​

ada.score(x_test,y_test)

0.8691806903328829

5 GDBT

from sklearn.ensemble import GradientBoostingClassifier

gbdt = GradientBoostingClassifier().fit(x_train,y_train)

print(classification_report(y_test,gbdt.predict(x_test)))

              precision    recall  f1-score   support           0       0.89      0.95      0.92      6170           1       0.80      0.61      0.69      1971    accuracy                           0.87      8141   macro avg       0.84      0.78      0.81      8141weighted avg       0.86      0.87      0.86      8141

​

6 XGB

from xgboost import XGBClassifierfrom xgboost import XGBRegressor

sk_xgb_c = XGBClassifier().fit(x_train,y_train)

C:\Anaconda\lib\site-packages\xgboost\sklearn.py:1146: UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. To remove this warning, do the following: 1) Pass option use_label_encoder=False when constructing XGBClassifier object; and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].  warnings.warn(label_encoder_deprecation_msg, UserWarning)


[17:23:12] WARNING: C:/Users/Administrator/workspace/xgboost-win64_release_1.4.0/src/learner.cc:1095: Starting in XGBoost 1.3.0, the default evaluation metric used with the objective 'binary:logistic' was changed from 'error' to 'logloss'. Explicitly set eval_metric if you'd like to restore the old behavior.

print(classification_report(y_test,sk_xgb_c.predict(x_test)))

              precision    recall  f1-score   support           0       0.90      0.94      0.92      6170           1       0.78      0.67      0.72      1971    accuracy                           0.87      8141   macro avg       0.84      0.80      0.82      8141weighted avg       0.87      0.87      0.87      8141

​

大地之灯
关注
专栏目录
分析机器学习的公平性
茶桁专栏
07-15 633
在继续之前，我们需要定义受保护的特征。我们通过使用敏感属性创建二进制变量来实现这一点。我们定义变量，以便 1 代表特权群体，0 代表非特权群体。通常，非特权群体在过去会面临历史不公正。换句话说，这个群体最有可能面临有偏见的模型做出的不公平决定。我们使用以下代码定义这些特征。对于种族，我们定义受保护的特征，以便“白人”是特权群体（第 4 行）。也就是说，如果该人是白人，则变量的值为 1，否则为 0。对于性别，“男性”是特权群体（第 5 行）。接下来，我们将使用这些二进制变量代替原始敏感属性。---
政安晨：【Keras机器学习示例演绎】（五十五）—— 使用 TabTransformer 学习结构化数据
最新发布
政安晨——致力于AI人工智能数字互动领域
07-16 1980
本文目标：利用上下文嵌入进行结构化数据分类。 本示例演示了如何使用 TabTransformer 进行结构化数据分类，TabTransformer 是一种用于监督和半监督学习的深度表格数据建模架构。 TabTransformer 建立在基于自我注意的变换器基础之上。 转换器层将分类特征嵌入转换为稳健的上下文嵌入，以实现更高的预测准确性。
机器学习实例--预测美国人口收入状况
diechen2576的博客
06-28 2196
一． 问题描述 每个人都希望自己能获得更高的收入，而影响收入高低的因素有很多，能否通过大数据分析来找出对收入影响相对较大的因素？ 二． 研究意义 如果我们知道对收入高低起决定性的作用，或者哪些因素组合在一起也能增大收入的可能性，那可以帮助很多人少走弯路，朝着正确的方向努力，早日达到目标。 三． 数据预处理 1. 选取数据集 本报告选取“adult”数...
机器学习实例----美国人口收入分析
lwj的小站
03-23 8484
Sklearn–(1) 原创不易，如需转载，请标明出处。 首先通过官网的图片简单了解Sklearn： 可以看到他的主要作用有：分类，回归，聚类，降维，模型选择，预处理。 今天我将利用Adult数据集进行演示。 Adult 该数据从美国1994年人口普查数据库抽取而来，可以用来预测居民收入是否超过50k/year。该数据集类变量为年收入是否超过50k，属性变量包含年龄，工种，学历，职...
上课笔记-机器学习（5）-美国人口普查数据进行收入预测分类
qq_40147358的博客
01-16 6687
实训六 回顾与学习 美国人口普查数据进行收入预测分类（可以参考：https://www.jianshu.com/p/a6d615f272f6） # 读入数据 import pandas as pd df = pd.read_csv(&amp;quot;data/adult.data&amp;quot;, header=None) df.head() 0 1 2 ...
案例系列：美国人口普查_预测收入超过50K_TabTransformer二分类
数智笔记
12-21 1334
本示例演示了如何使用进行结构化数据分类，TabTransformer是一种用于监督和半监督学习的深度表格数据建模架构。TabTransformer基于自注意力的Transformer构建而成。Transformer层将分类特征的嵌入转换为强大的上下文嵌入，以实现更高的预测准确性。在这里，我们定义数据集的元数据，这些元数据对于读取和解析数据为输入特征以及根据其类型对输入特征进行编码非常有用。# 数值特征的名称列表"age", # 年龄"education_num", # 受教育年限。
月薪5k和月薪50k程序员的差距就在这里
轻松学python的博客
11-09 504
同样是干着码农的活，为什么会有月薪5k和月薪50k的区别？难道人与人的差距就这么大吗？是的！差距就是这么大，而且随着时间的推移，会越差越大，有些程序员，已经站在珠穆朗玛峰上，呼吸来自世界各地的空气，而有些程序员，还是站在山峰底下，撸着烤串儿。 同样是从山脚起的步，为什么差距会越来越大？一个已经攀登顶峰，一个还在山脚歇息？ 急于价值变现 春播秋收，自有定律，刚刚大学毕业，就想着将课堂上哪些...
从负无穷学习机器学习（四）决策树与随机森林
oyzy_Sean的篝火
12-29 374
文章目录一、决策树原理二、查看决策树具体实现过程三、随机森林四、实战——这男/女朋友能不能要 一、决策树原理 决策树通过判断特征值是否满足某范围条件（通过if…else对一系列问题进行推导），并选择两条路径中的一条，不断重复这个过程直到最终实现决策。 #下面采用酒的数据进行决策树的建模 #导入numpy import numpy as np #导入画图工具 import matplotlib.py...
大数据分析案例-基于XGBoost算法构建居民收入分类预测模型
m0_64336780的博客
05-04 6331
本项目通过分析加州大学机器学习存储库中的收入分类数据集，找出影响收入的主要因素，最后使用机器学习算法构建收入分类预测模型。本项目是一个二分类问题。本次实验我们分析了美国加州地区的收入数据集，我们发现该地区主要以白人、男性、收入
机器学习作业-预测收入的是否大于50K+源代码+文档说明
12-23
1、资源内容：机器学习作业-预测收入是否大于50K+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、 目标检测模型、智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、智能控制、路径规划、无人机等多种领域的算法仿真实验，更多源码，请上博主主页搜索。 -------------------------------------------------------------------------- -
Prof-UIS白皮书
03-10
vc 界面库 Prof-UIS的白皮书文档
salary-predictive:分类模型预测工资水平
04-11
预测工资 分类模型预测工资水平 待办事项： 类平衡（分层，训练和测试集，无分数硬编码） PABLO完成 xgboosta，randomForest和Logistic回归（Gridsearch，Randomsearch）超参数PABLO完成，但没有xgboosta 选择最好的一个转型（grouping_countries，grouping_marital，grouping_ethnic，grouping_education） PABLO完成 来自变量的多项式以获得更好的结果（sklearn.preprocessing.PolynomialFeatures） TOMASZEK 生成依赖关系图，例如精度与参数值的关系，aoc，roc，可能是具有里程碑1/2（eda） MATI TOMUŚ矩阵TOMUŚ 报告:) MATI 准备好的代码，具有最佳效果（从头到尾） PABLO todo
【人工智能项目】- 机器学习实现收入分类预测报告
Mind_programmonkey的博客
11-03 4548
【人工智能项目】- 机器学习实现收入分类预测报告 题目 利用age、workclass、…、native_country等13个特征预测收入是否超过50k，是一个二分类问题。 训练集 32561个样本，每个样本14个特征，其中6个连续性特征、9个离散型特征。 特征介绍： Age：年龄； Workclass：离散值，表示工作类型，包括私人的，不为公司的，不为公司的，联邦政府的，地方政府的，州政府的，没有薪水的，从未工作过的； Fnlwgt：连续值； Education：学历背景； Education-num
Python机器学习基础教程7
weixin_56368033的博客
06-17 1143
Python机器学习基础教程7
对数据集进行k匿名（k-Anonymity）处理（python）——以adult数据集为例
note_online
10-13 8160
k匿名需要满足的条件就是，对于准标识符的任意组合，搜索出来的结果都需要至少有k条。 Adult数据集（即“人口普查收入”数据集），由美国人口普查数据集库 抽取而来，其中共包含48842条记录，年收入大于50k美元的占比23.93%，年收入小于50k美元的占比76.07%，并且已经划分为训练数据32561条和测试数据16281条。 该数据集类变量为年收入是否超过50k美元，属性变量包括年龄、工种、学历、职业等 14类重要信息，其中有8类属于类别离散型变量，另外6类属于数值连续型变量。该数据集是一个分类数据集，
python人口普查数据数据分析_美国人口普查数据可视化探索和收入水平预测建模...
weixin_39883906的博客
01-29 2739
数据来源1994年美国人口普查数据。首先在notebook导入包和数据集#导入数据分析包import numpy as npimport pandas as pdimport seaborn as snsimport matplotlib.pyplot as plt%matplotlib inline#导入数据，并查看数据类型df =pd.read_csv('adult.csv')df.head(...
类别型数据的预处理方法
weixin_30697239的博客
07-08 9660
在机器学习过程中，我们往往需要对数据进行预处理。根据数据的取值情况，我们可以把数据总体分为两大类：类别型数据和数值型数据。 对于数值性变量，通常不需要对其进行编码处理。而如何处理类别型数据是一个难题。处理的方法有很多种，各有优缺并且各有适用的范围。 本文在收集相关资料后，试图对目前较为常见的处理方式做一个归纳总结。 1. 为什么需要编码 机器学习相关算法对各数据进行衡量时，依赖...
机器学习学习笔记之——数据表示与特征工程
前尘忆梦的博客
12-25 1817
数据表示与特征工程 到目前为止，我们一直假设数据是由浮点数组成的二维数组，其中每一列是描述点的连续特征（continuous feature）。对于许多应用而言，数据的收集方式并不是这样的。一种特别常见的特征类型就是分类特征（categorical feature），也叫离散特征（discrete feature）。这种特征通常并不是数值。分类特征与连续特征之间的区别类似于分类和回归之间的区别，只是前者在输入端而不是输出端。我们已经见过的连续特征的例子包括像素明暗程度和花的尺寸测量。分类特征的例子包括产品的
Anaconda3工具包中Python常用配置及报错解决办法
热门推荐
蜗牛水里爬
12-12 4万+
纯属菜鸟的配置，高手绕道。pip 工具的安装下载pip工具包，解压后执行python setup.py install conda install pip 安装 pip包 thrift 报错错误信息：D:\ProgramData\Anaconda3\Lib\site-packages\pip\compat\__init__.py 修改73行 注意报错的是 line 73 return s.d
机器学习实战：微博文本分类与预处理解析
"基于机器学习的文本分类.pptx 是一个关于使用机器学习进行文本分类的演示文稿，其中详细介绍了如何运用机器学习算法，特别是朴素贝叶斯，来预测文本类别。该文稿提到了从语料选择、预处理、分词到模型训练和评估的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值