人才流失预测项目

于 2024-08-21 22:17:12 发布
阅读量294 收藏 2
点赞数 1
分类专栏： 机器学习经典算法 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45772158/article/details/141397180
版权

在本项目中，通过数据科学和AI的方法，分析挖掘人力资源流失问题，并基于机器学习构建解决问题的方法，并且，我们通过对AI模型的反向解释，可以深入理解导致人员流失的主要因素，HR部门也可以根据分析做出正确的决定。

探索性数据分析

在这里插入图片描述

##1.数据加载

import pandas as pd
import seaborn as sns
data = pd.read_csv('../data/train.csv')
#分析建模，查看数据情况，1.数据包含数值型和类别型
data

在这里插入图片描述

查看数据基本信息

#字段，类型，缺失情况
data.info()
data.info() 来获取数据的信息，包括总行数（样本数）和总列数（字段数）、变量的数据类型、数据集中非缺失的数量以及内存使用情况。
从数据集的信息可以看出，一共有31 个特征，Attrition 是目标字段，23个变量是整数类型变量，8个是对象类型变量。
在这里插入图片描述

2.数据基本分析

#数据无缺失值，查看数据分布
data.describe()

在这里插入图片描述

跑baseline模型（使用不同的分类算法）

对特征不进行处理

# 选出数值型特征
numerical_feat = data.select_dtypes(include=['int64'])
numerical_feat
# 切分特征和标签
X = numerical_feat.drop(['Attrition'],axis=1)
Y = numerical_feat.Attrition
# 特征幅度缩放
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
x_scaled = scaler.fit_transform(X)
x_scaled = pd.DataFrame(x_scaled, columns=X.columns)
x_scaled
# 第一次跑模型
## 训练集测试集切分
from sklearn.model_selection import train_test_split
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score
from sklearn.tree import DecisionTreeClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingClassifier
import xgboost as xgb
import lightgbm as lgb

 
X_train, X_test, Y_train, Y_test  = train_test_split(x_scaled,Y,test_size=0.3,random_state=1)
# 决策树
dt_clf = DecisionTreeClassifier()
dt_clf.fit(X_train, Y_train)
dt_auc = roc_auc_score(Y_test, dt_clf.predict_proba(X_test)[:, 1])

# 逻辑回归
lr_clf = LogisticRegression()
lr_clf.fit(X_train, Y_train)
lr_auc = roc_auc_score(Y_test, lr_clf.predict_proba(X_test)[:, 1])

# 随机森林
rf_clf = RandomForestClassifier()
rf_clf.fit(X_train, Y_train)
rf_auc = roc_auc_score(Y_test, rf_clf.predict_proba(X_test)[:, 1])

# 集成学习 - 梯度提升
gb_clf = GradientBoostingClassifier()
gb_clf.fit(X_train, Y_train)
gb_auc = roc_auc_score(Y_test, gb_clf.predict_proba(X_test)[:, 1])

#XGBoost
xgb_clf = xgb.XGBClassifier(eval_metric="auc")
xgb_clf.fit(X_train, Y_train)
xgb_auc = roc_auc_score(Y_test, xgb_clf.predict_proba(X_test)[:, 1])

#LightGBM
lgb_clf = lgb.LGBMClassifier()
lgb_clf.fit(X_train, Y_train)
lgb_auc = roc_auc_score(Y_test, lgb_clf.predict_proba(X_test)[:, 1])

# 打印AUC值
print(f"Decision Tree AUC: {dt_auc}")
print(f"Logistic Regression AUC: {lr_auc}")
print(f"Random Forest AUC: {rf_auc}")
print(f"Gradient Boosting AUC: {gb_auc}")
print(f"XGBoost AUC: {xgb_auc}")
print(f"LightGBM AUC: {lgb_auc}")

在这里插入图片描述

3.特征工程

人才流失中，更多的是做特征选择

尝试编码

# 按照出差的频度进行编码
data.BusinessTravel = data.BusinessTravel.replace({
                        'Non-Travel':0,'Travel_Rarely':1,'Travel_Frequently':2
                        })
 
# 性别与overtime编码
data.Gender = data.Gender.replace({'Male':1,'Female':0})
data.OverTime = data.OverTime.replace({'Yes':1,'No':0})
data.Over18 =data.Over18.replace({'Y':1,'N':0})
# 独热向量编码  
new_df = pd.get_dummies(data=data,columns=['Department','EducationField','JobRole', 'MaritalStatus'])
new_df

# 切分特征和标签
X = new_df.drop(['Attrition'],axis=1)
Y = new_df.Attrition
# 特征幅度缩放
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
x_scaled = scaler.fit_transform(X)
x_scaled = pd.DataFrame(x_scaled, columns=X.columns)
# 决策树
dt_clf = DecisionTreeClassifier()
dt_clf.fit(X_train, Y_train)
dt_auc = roc_auc_score(Y_test, dt_clf.predict_proba(X_test)[:, 1])

# 逻辑回归
lr_clf = LogisticRegression()
lr_clf.fit(X_train, Y_train)
lr_auc = roc_auc_score(Y_test, lr_clf.predict_proba(X_test)[:, 1])

# 随机森林
rf_clf = RandomForestClassifier()
rf_clf.fit(X_train, Y_train)
rf_auc = roc_auc_score(Y_test, rf_clf.predict_proba(X_test)[:, 1])

# 集成学习 - 梯度提升
gb_clf = GradientBoostingClassifier()
gb_clf.fit(X_train, Y_train)
gb_auc = roc_auc_score(Y_test, gb_clf.predict_proba(X_test)[:, 1])

#XGBoost
xgb_clf = xgb.XGBClassifier(eval_metric="auc")
xgb_clf.fit(X_train, Y_train)
xgb_auc = roc_auc_score(Y_test, xgb_clf.predict_proba(X_test)[:, 1])

#LightGBM
lgb_clf = lgb.LGBMClassifier()
lgb_clf.fit(X_train, Y_train)
lgb_auc = roc_auc_score(Y_test, lgb_clf.predict_proba(X_test)[:, 1])

# 打印AUC值
print(f"Decision Tree AUC: {dt_auc}")
print(f"Logistic Regression AUC: {lr_auc}")
print(f"Random Forest AUC: {rf_auc}")
print(f"Gradient Boosting AUC: {gb_auc}")
print(f"XGBoost AUC: {xgb_auc}")
print(f"LightGBM AUC: {lgb_auc}")

在这里插入图片描述
并没有明显提高

特征筛选，选出对模型贡献度大的特征

## 训练集测试集切分
from sklearn.model_selection import train_test_split
from sklearn.feature_selection import mutual_info_classif
X_train, X_test, Y_train, Y_test  = train_test_split(x_scaled,Y,test_size=0.3,random_state=1)
mutual_info = pd.Series(mutual_info)
mutual_info.index = X_train.columns
mutual_info.sort_values(ascending=False)
 
plt.title("Feature Importance",fontsize=20)
mutual_info.sort_values().plot(kind='barh',figsize=(12,9),color='r')
plt.show()

在这里插入图片描述
剔除无效特征（后18位）

sorted_mutual_info = mutual_info.sort_values(ascending=False)
# 获取互信息值最低的18个特征的索引（列名）
least_important_feature_indices = sorted_mutual_info.tail(18).index

# 从new_df中删除这些特征
new_df = new_df.drop(columns=least_important_feature_indices)
new_df

在这里插入图片描述

# 切分特征和标签
X = new_df.drop(['Attrition'],axis=1)
Y = new_df.Attrition
# 特征幅度缩放
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
x_scaled = scaler.fit_transform(X)
x_scaled = pd.DataFrame(x_scaled, columns=X.columns)
## 训练集测试集切分
from sklearn.model_selection import train_test_split
from sklearn.feature_selection import mutual_info_classif
X_train, X_test, Y_train, Y_test  = train_test_split(x_scaled,Y,test_size=0.3,random_state=1)
# 定义模型列表
models = [
    ("Decision Tree", DecisionTreeClassifier()),
    ("Logistic Regression", LogisticRegression()),
    ("Random Forest", RandomForestClassifier()),
    ("Gradient Boosting", GradientBoostingClassifier()),
    ("XGBoost", xgb.XGBClassifier(eval_metric="auc")),
    ("LightGBM", lgb.LGBMClassifier())
]

# 训练模型并计算AUC
for name, model in models:
    model.fit(X_train, Y_train)
    pred_proba = model.predict_proba(X_test)[:, 1]
    auc = roc_auc_score(Y_test, pred_proba)
    print(f"{name} AUC: {auc}")

在这里插入图片描述
有了明显提高

做一些SMOTE

# SMOTE处理类别不均衡
from imblearn.over_sampling import SMOTE
sm = SMOTE(sampling_strategy='minority')
x,y = sm.fit_resample(X,Y)
# 过采样之后的比例
sns.countplot(data=new_df,x=y,palette='Set1')
plt.show()
print(y.value_counts())

在这里插入图片描述

# 特征幅度缩放
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
x_scaled = scaler.fit_transform(x)
x_scaled = pd.DataFrame(x_scaled, columns=x.columns)

## 训练集测试集切分
from sklearn.model_selection import train_test_split
from sklearn.feature_selection import mutual_info_classif
X_train, X_test, Y_train, Y_test  = train_test_split(x_scaled,y,test_size=0.3,random_state=1)
# 定义模型列表
models = [
    ("Decision Tree", DecisionTreeClassifier()),
    ("Logistic Regression", LogisticRegression()),
    ("Random Forest", RandomForestClassifier()),
    ("Gradient Boosting", GradientBoostingClassifier()),
    ("XGBoost", xgb.XGBClassifier(eval_metric="auc")),
    ("LightGBM", lgb.LGBMClassifier())
]

# 训练模型并计算AUC
for name, model in models:
    model.fit(X_train, Y_train)
    pred_proba = model.predict_proba(X_test)[:, 1]
    auc = roc_auc_score(Y_test, pred_proba)
    print(f"{name} AUC: {auc}")

在这里插入图片描述
模型有了大幅度提高

LOF

from pyod.models.lof import LOF
train = new_df.copy()
val = new_df.copy()
#创建LOF对象
clf = LOF(n_neighbors=20, algorithm='auto')
# 切分特征和标签
X = train.drop(['Attrition'],axis=1)

#无监督学习算法，因此没有y，不需要传入y
clf.fit(X)

#模型预测
train['out_pred'] = clf.predict_proba(X)[:,1]
#随机给的一个93%分数数的一个参考值（93%是随便给的，不宜太小）
#判断依据：只要小于93%分位数的值，就说明这个样本是正常数据，如果大于93%分位数的值，则说明是异常数据
key = train['out_pred'].quantile(0.93)
#  'Attrition' 是目标变量列，我们不想将其包括在特征列表中
excluded_columns = ['Attrition']
# 获取所有列名，并将排除列从列表中移除
feature_lst = [col for col in new_df.columns.tolist() if col not in excluded_columns]
#获取用于模型训练的特征列
x = train[train['out_pred'] < key][feature_lst]
y = train[train['out_pred'] < key]['Attrition']

#准备验证集的x和y
x =train[feature_lst]
y = train['Attrition']
val_x = val[feature_lst]
val_y = val['Attrition']
#模型训练
lr_model = LogisticRegression(C=0.1,class_weight='balanced')
lr_model.fit(x,y)
from sklearn.metrics import roc_curve

#模型预测和画图
y_pred = lr_model.predict_proba(x)[:,1]
fpr_lr_train,tpr_lr_train,_ = roc_curve(y,y_pred)
train_ks = abs(fpr_lr_train - tpr_lr_train).max()
print('train_ks : ',train_ks)

y_pred = lr_model.predict_proba(val_x)[:,1]
fpr_lr,tpr_lr,_ = roc_curve(val_y,y_pred)
val_ks = abs(fpr_lr - tpr_lr).max()
print('val_ks : ',val_ks)

from matplotlib import pyplot as plt
plt.plot(fpr_lr_train,tpr_lr_train,label = 'train LR')
plt.plot(fpr_lr,tpr_lr,label = 'evl LR')
plt.plot([0,1],[0,1],'k--')
plt.xlabel('False positive rate')
plt.ylabel('True positive rate')
plt.title('ROC Curve')
plt.legend(loc = 'best')
plt.show()

在这里插入图片描述

交叉验证和超参数调优

  • 网格搜索：模型针对具有一定范围值的超参数网格进行评估，尝试参数值的每种组合，并实验以找到最佳超参数，计算成本很高。
  • 随机搜索：这种方法评估模型的超参数值的随机组合以找到最佳参数，计算成本低于网格搜索。

from sklearn.metrics import roc_auc_score
from sklearn.model_selection import cross_val_score

# 定义模型列表
models = [
    ("Decision Tree", DecisionTreeClassifier()),
    ("Logistic Regression", LogisticRegression()),
    ("Random Forest", RandomForestClassifier()),
    ("Gradient Boosting", GradientBoostingClassifier()),
    ("XGBoost", xgb.XGBClassifier(eval_metric="auc")),
    ("LightGBM", lgb.LGBMClassifier())
]

# X_train, Y_train, X_test, Y_test是已经准备好的数据集
# X_scaled是经过标准化的特征数据集

# 训练模型并计算AUC
for name, model in models:
    model.fit(X_train, Y_train)
    pred_proba = model.predict_proba(X_test)[:, 1]
    auc = roc_auc_score(Y_test, pred_proba)
    print(f"{name} AUC: {auc}")

# 使用交叉验证查看得分
for name, model in models:
    print("******", name, "******")
    cv_scores = cross_val_score(model, x_scaled, y, cv=5, scoring='roc_auc')  # 使用roc_auc作为评分标准
    cv_mean = cv_scores.mean()
    print(f"Cross-validated AUC mean score: {cv_mean}")

在这里插入图片描述

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import make_scorer, roc_auc_score

# 定义模型列表
models = [
    ("Decision Tree", DecisionTreeClassifier(), {'max_depth': [3, 5, 10]}),
    ("Logistic Regression", LogisticRegression(), {'C': [0.1, 1, 10]}),
    ("Random Forest", RandomForestClassifier(), {'n_estimators': [10, 50, 100]}),
    ("Gradient Boosting", GradientBoostingClassifier(), {'n_estimators': [50, 100, 200]}),
    ("XGBoost", xgb.XGBClassifier(eval_metric="auc"), {'n_estimators': [50, 100, 200]}),
    ("LightGBM", lgb.LGBMClassifier(), {'n_estimators': [50, 100, 200]})
]

# 使用网格搜索进行交叉验证
for name, model, params in models:
    print(f"Grid searching {name}...")
    grid_search = GridSearchCV(model, param_grid=params, cv=5, scoring='roc_auc')
    grid_search.fit(X_scaled, y)
    print(f"Best parameters for {name}: {grid_search.best_params_}")
    print(f"Cross-validated AUC mean score for {name}: {grid_search.best_score_}")

在这里插入图片描述

小郭plus
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
11-用户|人才流失模型项目
weixin_43614188的博客
04-27 1266
用户|人才流失模型项目 1.数据挖掘项目-人才流失模型项目介绍 业务介绍： 人才或员工是企业或其他单位的核心，如何能够保障员工的流失率或离职率或电商平台中用户的流失率下降，是人力资源或平台需要解决问题。 技术实现： 数据来源 数据进行简单分析 特征工程 数据处理 类别型数据处理 数值型数据处理 有序型数据处理 特征选择 特征降维 建立模型 数据的不平衡问题如何处理？ 评测指标...
Python · 机器学习员工流失预测
weixin_39559994的博客
01-30 1009
Python · 机器学习员工流失预测
数据挖掘-09-IBM员工流失率预测（包括数据和代码）
AI研习星球
12-21 1591
如所观察到的，我们的随机森林为其预测返回了大约88％的准确度，乍一看这似乎是一个表现相当不错的模型。然而，当我们考虑我们的目标变量偏差时，其中yes和no的分布分别为84％和26％，因此我们的模型仅比随机猜测稍微好一些。因此，顾名思义，用于最小化损失函数的算法是梯度下降方法，该方法添加决策树，其在指向减少我们的损失函数（向下梯度）的方向上“指向”。话虽如此，还有很大的改进空间。编码了我们的分类变量，并创建了一些新特征，我们现在可以继续将两个数据集合并成一个最终集中，我们将使用它来训练和测试我们的模型。
数据分析实例：员工流失建模与预测
热门推荐
R语言中文社区
04-03 1万+
作者简介IntroductionJoffy Zhong：咨询顾问 | 写作爱好者 | 数据分析 | 互联网创业者 R语言中文社区专栏作者知乎ID：https://www.zhihu.com/people/joffy/posts 往期回顾：数据分析项目实战：大型商场销售预测（带你挤进比赛前100名）背景介绍大家好，我是乔飞我曾为一些中小企业做过管理咨询，其中部分模块涉及到人力资源，这也是我在工作过程
数据挖掘项目构建人才(用户)流失模型
NewBeeMu的博客
12-12 504
# coding=utf-8 # @Time : 2019/12/3 14:48 # @Author : Z # @Email : S # @File : 2.6ML_SMOTO_talentFeatures.py #数据挖掘项目构建人才(用户)流失模型 import pandas as pd talent_data = pd.read_csv("./train.csv")...
大数据人才流失： 科研为何陷入困境
CBF_genominer的博客
04-17 992
无论无处不在的“大数据”概念引起怎样的联想，逐步增长的数据规模确是改变着我们和世界的交互方式。这在工业界、政界、媒体、学术界，几乎任何领域，都是事实。逐渐增强的对大数据进行收集、处理、抽象化，并从中得到启发的能力，拓宽了我们的知识面。 然而近年来，科学研究领域加速转变到以数据为核心，是有负面影响的。总结来说就是：称职的科学研究者需要的能力，和称职的工业界从业人员需要的能力，越来越无法区分。具
项目管理基础案例分析答案
Hdhdi的博客
08-23 3740
项目管理基础案例分析答案
员工一言不合就离职怎么办？我用 Python 写了个员工流失预测模型
Python数据挖掘
11-02 869
今天教大家如何用Python写一个员工流失预测模型。说道离职的原因，可谓多种多样。有人离职是因为“世界那么大，我想去看看”，也有人觉得“怀有绝技在身，不怕天下无路”。另一方面，员工离职对于企业而言有什么影响呢？要知道，企业培养人才需要大量的成本，**为了防止人才再次流失，员工流失分析就显得十分重要了。**这不仅仅是公司评估员工流动率的过程，通过找到导致员工流失的主要因素，预测未来的员工离职状况，从而进一步减少员工流失。那么，哪些因素最容易导致员工离职呢？
培养一个数据人才需要多少年？
博文视点（北京）官方博客
11-02 1141
数据人才目前处于一个供小于需的状态，在主流招聘平台上可以看到各行各业都在不断地招募数据人才。为什么数据人才会这么稀缺呢？培养一个数据人才需要多久呢？ 本文作者张明明，现任美菜网决策支持部负责人，数据运营高级总监。著有《数据运营之路：掘金数据化时代》。 希望看到本文的企业领导，更加珍惜企业的数据分析师，他们是整个社会花巨大成本培养出来的，希望可以给他们更多机会，以发挥更大的价值。看到本文的数据分析师，请转给你的领导。 ▊为什么数据人才会这么稀缺呢？ 数据人才需要横跨三个专业：数学、商...
人才流失数据集.zip
02-26
标题 "人才流失数据集.zip" 暗示我们即将探讨的是一个关于员工离职率或人才流失的数据分析项目。这样的数据集通常包含与员工背景、工作表现、满意度等相关的多个变量，用于探究导致人才流失的原因。这可能是为了帮助...
基于机器学习的IBM 员工流失率预测
06-14
本项目聚焦于“基于机器学习的IBM员工流失率预测”，通过深入挖掘数据集，可以找出影响员工离职的关键因素，并建立预测模型，帮助公司提前采取措施减少人才流失。 首先，我们需要理解数据集的内容。通常，员工流失...
企业数据分析案例-员工流失建模与预测实例.zip
05-10
通过以上步骤，企业可以构建一个有效的员工流失预测系统，提前预防人才流失，降低人力成本，提高组织稳定性。在实践中，这需要跨部门合作，整合多个来源的数据，并且要遵循数据隐私和合规性原则。
Employee-turnover-forecast:这是使用xgboost＆GBDT＆Lightgbm＆ngboost预测员工流失的项目
04-12
在IT行业中，员工流失预测是一项重要的任务，尤其对于企业来说，理解并预测员工可能的离职行为可以帮助企业提前采取措施，减少人才流失带来的损失。在这个项目中，开发者利用了多种先进的机器学习模型，如XGBoost、...
黑龙江省人口结构不合理和人才流失问题.doc
10-08
【黑龙江省人口结构不合理和人才流失问题】 一、人口结构的重要性 人口结构是衡量一个地区社会发展和经济健康的重要指标，它包括人口的自然构成、地域构成和社会构成。在本案例中，我们将聚焦于人口的自然构成，即...
机器学习带来的新见解挑战星系形成理论
weixin_41446370的博客
08-18 978
最近的研究发现，处于高密度环境中的星系往往比孤立的星系大得多，这对现有的星系形成理论提出了挑战。这一发现得益于机器学习和来自数百万个星系的大量数据。这些发现提出了关于暗物质和星系合并在塑造宇宙中的作用的新问题。
机器学习中的没有免费午餐定理
qq_36566678的博客
08-21 258
而支持向量机呢，在处理线性可分问题时表现得极为出色，但对于大规模数据集的训练，却可能会耗费大量的时间。你的心中怀揣着一个强烈的渴望，那就是找到一种万能的算法，它能够轻松解决所有的机器学习问题，就仿佛拥有了一把可以开启任何宝藏大门的神奇钥匙。免费午餐定理郑重地告诉我们，在所有可能的问题分布上，没有一种算法能够始终比其他算法表现得更加出色。在广阔无垠的机器学习领域中，免费午餐定理就如同一把神奇的钥匙，为我们打开理解不同算法之间关系的大门，同时也让我们看清这些算法在实际应用中的局限性。
[机器学习]--线性回归算法
最新发布
人工智能专业学生
08-21 580
FC⋅59​32××线性回归(Linear regression)就是利用回归函数对一个或多个自变量和因变量关系建立类似如上模型的一种分析方式hww1​x1​w2​x2​...bwTxb其中w1​w2​...称为系数x1​x2​...是自变量hw​bw1​w2​...​​⋅​1x1​x2​...​​根据自变量的数量, 可以将线性关系分为单变量线性关系, 多变量线性关系。
【机器学习第十四章——.概率图模型】
m0_53694086的博客
08-18 794
机器学习第十四章——.概率图模型14.概率图模型14.1 隐马尔可夫模型（HMM）14.2 马尔可夫随机场（MRF）马尔可夫随机场中的分离集势函数14.3 条件随机场（CRF）14.4 学习与推断14.4.1 变量消去14.4.2 信念传播14.5 近似推断14.5.1 MCMC采样14.5.2 变分推断14.6 话题模型 14.概率图模型 机器学习最重要的任务是根据已观察到的证据（例如训练样本）对感兴趣的未知变量（例如类别标记）进行估计和推测。 概率模型提供了一种描述框架，将描述任务归结为计算变量
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值