人岗智能匹配系统（中）

最新推荐文章于 2024-03-16 09:00:00 发布
最新推荐文章于 2024-03-16 09:00:00 发布
阅读量2.5k 收藏 37
点赞数 6
分类专栏： 加油努力大数据 文章标签： python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fishwetmaster/article/details/120962956
版权

人岗智能匹配系统（中）

5.1 数据库版本
Mysql 5.7
5.2 数据库设计
在导入数据之前，首先要创建所对应的表的列名和数据类型，再将/var/lib/mysql-files/中的csv文件导入到创建好的表中
/var/lib/mysql-files/的csv文件
在这里插入图片描述
在Sql语句中，每一次存储数据之前都要执行“set sql_mode=’’;”语句，目的是为了提高数据库的效率，清除默认的模式信息

创建person表
列名：PERSON_ID，GENDER，WORK_YEARS，HIGHEST_EDU，MAJOR，AGE ，LAST_POSITION ，LAST_INDUSTRY，CURR_LOC，LANGUAGE_REMARK，SPECILTY
Sql语句：
create table person(PERSON_ID varchar(20) primary key,GENDER varchar(20),WORK_YEARS varchar(20),HIGHEST_EDU varchar(20),MAJOR varchar(20),AGE varchar(20),LAST_POSITION varchar(100),LAST_INDUSTRY varchar(100),CURR_LOC varchar(20),LANGUAGE_REMARK varchar(100),SPECILTY varchar(100))charset=utf8;
set sql_mode=’’;
load data infile ‘/var/lib/mysql-files/person(new).csv’ into table person fields terminated by ‘,’ lines terminated by ‘\n’;
person表的数据类型：

在这里插入图片描述
person表的部分数据
在这里插入图片描述
创建person_cv表
列名：PERSON_ID，SELF_COMMENT，POSITION_CV，LOCATION_CV，INDUSTRY_CV ，AVAILABLE_IN_DAYS，REMARK_CV
Sql语句：
create table person_cv(PERSON_ID varchar(20) primary key,SELF_COMMENT varchar(100),POSITION_CV varchar(100),LOCATION_CV varchar(100),INDUSTRY_CV varchar(100),AVAILABLE_IN_DAYS varchar(100),REMARK_CV varchar(100))charset=utf8;
set sql_mode=’’;
load data infile ‘/var/lib/mysql-files/person_cv(new).csv’ into table person_cv fields terminated by ‘,’ lines terminated by ‘\n’;
person_cv的数据类型
在这里插入图片描述
person_cv表的部分数据
在这里插入图片描述
创建person_job_hist表
列名：PERSON_ID，POSITION_JOB，LOCATION_JOB，INDUSTRY_JOB，ACHIEVEMENT
Sql语句：
create table person_job_hist(PERSON_ID varchar(20),POSITION_JOB varchar(100),LOCATION_JOB varchar(100),INDUSTRY_JOB varchar(100),ACHIEVEMENT varchar(100))charset=utf8;
set sql_mode=’’;
load data infile ‘/var/lib/mysql-files/person_job_hist(new).csv’ into table person_job_hist fields terminated by ‘,’ lines terminated by ‘\n’ ignore 1 lines;
person_job_hist表的数据类型
在这里插入图片描述
person_job_hist表的部分数据
在这里插入图片描述
创建person_pro_cert表
列名：PERSON_ID，PRO_CERT_DSP，REMARK_PRO
Sql语句：
create table person_pro_cert(PERSON_ID varchar(20) ,PRO_CERT_DSP varchar(100),REMARK_PRO varchar(100))charset=utf8;
set sql_mode=’’;
load data infile ‘/var/lib/mysql-files/person_pro_cert(new).csv’ into table person_pro_cert fields terminated by ‘,’ lines terminated by ‘\n’ ignore 1 lines;
person_pro_cert表的数据类型
在这里插入图片描述
person_pro_cert表的部分数据
在这里插入图片描述
创建person_project表
列名：PERSON_ID，PROJECT_NAME，PROJECT_DETAIL，RESPONSIBILITY ，KEY_TECHNOLOGY
Sql语句：
create table person_project(PERSON_ID varchar(20) ,PROJECT_NAME varchar(100),PROJECT_DETAIL varchar(100),RESPONSIBILITY varchar(100),KEY_TECHNOLOGY varchar(100))charset=utf8;
set sql_mode=’’;
load data infile ‘/var/lib/mysql-files/person_project(new).csv’ into table person_project fields terminated by ‘,’ lines terminated by ‘\n’ ignore 1 lines;
person_project表的数据类型
在这里插入图片描述
person_project表的部分数据
在这里插入图片描述
创建recruit表
列名：RECRUIT_ID，PERSON_TYPE_CODE，PERSON_TYPE，JOB_TITLE varchar(20),MAJOR ，LOWER_EDU，LOCATION，WORK_YEARS_RANGE，DETAIL
Sql语句：
create table recruit( RECRUIT_ID varchar(20) primary key,PERSON_TYPE_CODE varchar(20),PERSON_TYPE varchar(20),JOB_TITLE varchar(20),MAJOR varchar(20),LOWER_EDU varchar(20),LOCATION varchar(20),WORK_YEARS_RANGE varchar(20),DETAIL varchar(100))charset=utf8;
set sql_mode=’’;
load data infile ‘/var/lib/mysql-files/recruit(new).csv’ into table recruit fields terminated by ‘,’ lines terminated by ‘\n’;
recruit表的数据类型
在这里插入图片描述
recruit表的部分数据
在这里插入图片描述
在完成对已有数据的存储之后，还要对新生成的数据和用于计算匹配度的数据进行数据库的存储，也就是要创建user表进行新数据的存储，创建person_feature表和person_recruit_feature表存储用于计算的数据

创建user表
列名：id，password，name，type
Sql语句：
create table user(id int(10) primary key,password varchar(20),name varchar(20),type varchar(20))charset=utf8;
user表的数据类型
在这里插入图片描述
创建person_recruit_feature表
列名：PERSON_ID，RECRUIT_ID，EDU_MATCHING，WORK_YEARS_MATCHING ，WORK_YEARS_LONGER，WORK_YEARS_LONGER_YEAR，MAJOR_MATCHING ，MAJOR_MATCHING_NOLIMIT，JOB_MATCHING，LOCATION_MATCHING ，LOCATION_MATCHING_ALL，SEX_MATCHING，KEY_TECHNOLOGY_COUNT ，KEY_TECHNOLOGY_MATCHING_MAX，SPECILTY_MATCHING
Sql语句：
create table person_recruit_feature(PERSON_ID int(10) ,RECRUIT_ID int(10) ,EDU_MATCHING int(5),WORK_YEARS_MATCHING int(5),WORK_YEARS_LONGER int(5),WORK_YEARS_LONGER_YEAR int(5),MAJOR_MATCHING float(10),MAJOR_MATCHING_NOLIMIT int(5),JOB_MATCHING float(10),LOCATION_MATCHING int(5),LOCATION_MATCHING_ALL int(5),SEX_MATCHING int(5),KEY_TECHNOLOGY_COUNT int(5),KEY_TECHNOLOGY_MATCHING_MAX int(5),SPECILTY_MATCHING float(10),primary key(PERSON_ID,RECRUIT_ID))charset=utf8;
set sql_mode=’’;
load data infile ‘/var/lib/mysql-files/person_recruit_feature.csv’ into table person_recruit_feature fields terminated by ‘,’ lines terminated by ‘\n’;
person_recruit_feature表的数据类型
在这里插入图片描述
6 特征工程

6.1 特征提取
提取求职者和招聘者的交叉特征

学历是否匹配

t1 = feature[['PERSON_ID', 'RECRUIT_ID', 'HIGHEST_EDU_LEVEL', 'LOWER_EDU_CODE']]
t1 = t1[t1.HIGHEST_EDU_LEVEL >= t1.LOWER_EDU_CODE][['PERSON_ID', 'RECRUIT_ID']]
t1['EDU_MATCHING'] = 1
t1.drop_duplicates(inplace=True)

工作时长是否匹配

t2 = feature[['PERSON_ID', 'RECRUIT_ID', 'WORK_YEARS', 'WORK_YEARS_RANGE_CODE']]
t2.WORK_YEARS_RANGE_CODE = t2.WORK_YEARS_RANGE_CODE.apply(get_year_range)
t2['WORK_YEARS_MATCHING'] = t2.apply(lambda x: 1 if x.WORK_YEARS in x.WORK_YEARS_RANGE_CODE else 0, axis=1)
t2 = t2[['PERSON_ID', 'RECRUIT_ID', 'WORK_YEARS_MATCHING']]
t2.drop_duplicates(inplace=True)

求职者工作时长是否超过招聘要求

t3 = feature[['PERSON_ID', 'RECRUIT_ID', 'WORK_YEARS', 'WORK_YEARS_RANGE_CODE']]
t3.WORK_YEARS = t3.WORK_YEARS.apply(get_year_code)
t3 = t3[t3.WORK_YEARS > t3.WORK_YEARS_RANGE_CODE]
t3['WORK_YEARS_LONGER'] = 1
t3 = t3[['PERSON_ID', 'RECRUIT_ID', 'WORK_YEARS_LONGER']]
t3.drop_duplicates(inplace=True)

求职意向岗位和招聘岗位匹配率

t5 = feature[['PERSON_ID', 'RECRUIT_ID', 'POSITION_CV', 'JOB_TITLE']]
t5['JOB_MATCHING'] = t5.apply(lambda x: SequenceMatcher(None, x.POSITION_CV, x.JOB_TITLE).ratio(), axis=1)
t5 = t5[['PERSON_ID', 'RECRUIT_ID', 'JOB_MATCHING']]
t5.drop_duplicates(inplace=True)

专业匹配率

t4 = feature[['PERSON_ID', 'RECRUIT_ID', 'MAJOR_x', 'MAJOR_y']]
t4['MAJOR_MATCHING'] = t4.apply(lambda x: SequenceMatcher(None, x.MAJOR_x, x.MAJOR_y).ratio(), axis=1)
t4['MAJOR_MATCHING_NOLIMIT'] = t4.apply(lambda x: 1 if x.MAJOR_y == '不限' else 0, axis=1)
t4 = t4[['PERSON_ID', 'RECRUIT_ID', 'MAJOR_MATCHING', 'MAJOR_MATCHING_NOLIMIT']]
t4.drop_duplicates(inplace=True)

工作地点匹配

t6 = feature[['PERSON_ID', 'RECRUIT_ID', 'LOCATION_CV', 'LOCATION']]
t6['LOCATION_MATCHING'] = t6.apply(lambda x: SequenceMatcher(None, x.LOCATION_CV, x.LOCATION).ratio(), axis=1)
t6 = t6[['PERSON_ID', 'RECRUIT_ID', 'LOCATION_MATCHING']]
t6.drop_duplicates(inplace=True)

6.2 合并特征

person_recruit = pd.merge(all_person_recruit, t1, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t2, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t3, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t4, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t5, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t6, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t7, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t9, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t10, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit = pd.merge(person_recruit, t11, on=['PERSON_ID', 'RECRUIT_ID'], how='left')
person_recruit.drop_duplicates(inplace=True)
person_recruit.reset_index(drop=True, inplace=True)

6.3 输出特征

person_recruit.to_csv('./data/处理后/person_recruit_feature.csv', index=False)

7 模型训练

7.1 模型选择

做匹配预测，选择决策树作为训练模型较好
在项目中，选择xgboost（eXtreme Gradient Boosting）作为训练模型，是boosting迭代型、树类算法
在这里插入图片描述

7.2 划分数据集

在选择特征的过程中，作为决策树，要先将’RECRUIT_ID’,‘PERSON_ID’,'LABEL’这三列去除（招聘信息，个人编号，正负样本分类），然后进行模型的训练。
先将数据分成测试集和训练集
75：25 训练集75 测试集25
在这里插入图片描述
7.3 模型调参
通过模型的参数设置
booster 选择迭代模型 gbtree 基于树的模型
eta 减小每一步的权重，提高模型的鲁棒性
min_child_weight 决定最小叶子节点样本权重 避免过于拟合
max_depth 树的最大深度
subsample 控制对于每棵树 随机采样的比例

7.4 模型预测
在这里插入图片描述
训练完成后 可以观察到测试集与训练集的预测情况
7.5 模型评估
在这里插入图片描述同时 我们可以输出各个属性的重要性
能够为后续训练完成后模型的使用
作为一种筛选分类的方式

在这里插入图片描述
最后生成 xgb.json 模型 对后续输入进行预测
在这里插入图片描述

8 数据可视化

采用python中的matplotlib和pyechart库绘制，主要是针对招聘者的工作经验、招聘人员和企业的学历、企业所需专业、个人所在行业以及地域分布进行比较绘制，数据采用预处理过后表。

8.1 招聘者工作经验以及其中一年经验以下年龄分布
在这里插入图片描述
绘图采用matplotlib的bar绘制，该图片采用饼图的方式展现招聘者的工作经验占比，将数据中具体的工作经验进行处理，划分为四部分——一年以下，一到五年，五到十年，以及十年以上。其中5-10年者占大多数，1-5年占比最小。还特别对一年以下者的年龄分布做更细的研究。

8.2 个人和企业学历
在这里插入图片描述
采用matplotlib，图中企业要求的最低学历大专占主要部分，同时招聘者的学历也是大专最多，本科中专高职次之。对于高学历（研究生、博士等）略微较少。

8.3 企业对于专业要求
在这里插入图片描述
8.4 行业
在这里插入图片描述
8.5 地域分布
在这里插入图片描述
使用pyechart，图中为深圳市地图，其中是招聘者所在地区，宝安区的人数最多，龙岗区次之。

8.6 词云
在这里插入图片描述
该词云统计是根据招聘者跟企业的文本细节绘制

咸大湿fish
关注
  • 6
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
中科大徐童：AI×Talent数据驱动的智能人才计算
读芯术的博客
06-05 1477
不到现场，照样看最干货的学术报告！嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现...
e成科技人岗匹配中的匹配模型
ifchange的博客
07-23 5828
随着网络招聘的发展与壮大，网聘渠道积攒着数亿份个人简历以及上千万份企业招聘信息。如何将这些简历和岗位进行精准匹配是各大招聘平台面临的重大挑战。 问题描述 在人岗匹配中，JD文档由多句工作描述和岗位要求组成，CV文档主要由求职者的工作经历组成。传统人岗匹配中通过对求职者简历的工作经历文本和JD岗位信息进行文本挖掘，两者的技能和能力是否契合作为判断JD和CV是否匹配的重要依据。早期的人岗匹配版本基于t...
CIKM 2020 | 基于多视图协作学习的人岗匹配研究
zhikeqianyan的博客
10-24 1299
论文简介 论文：Learning to Match Jobs with Resumes from Sparse Interaction Data using Multi-View Co-Teaching Network 论文链接：https://arxiv.org/abs/2009.13299 录用会议：CIKM 2020 本文针对求职者和招聘方的交互行为数据稀疏且带有噪声这一场景，基于多视图协作学习，提出了一个新型匹配模型。新型模型相比以往模型，增加了基于关系的匹配模块，且将两个匹配模块融合进行协作训练
智联招聘人岗智能匹配-数据集
03-29
简历v岗位实时智能匹配算法
datayx的文章
12-02 9137
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx人岗智能匹配根据智联招聘抽样的经过脱敏的求职者标签数据、职位信息、及部分求职者行为信...
人岗匹配摘要
lb521200200的专栏
01-17 688
人岗匹配
智能人岗匹配数据，测试集+训练集+字段说明
12-10
总结来说，这个数据集提供了全面的岗位、求职者和行为信息，是构建高效人岗匹配系统的基础。通过分析和学习这些数据，开发者可以构建出更智能、更个性化的推荐系统，帮助企业和求职者找到最合适的匹配，降低招聘成本...
智联人岗匹配数据集、测试集和说明
03-31
在人岗匹配场景中，推荐算法会学习求职者的特征和岗位的要求，生成匹配建议。常见的推荐算法有： 1. 基于内容的推荐：通过分析求职者的技能、经验与岗位需求的相似度进行匹配。 2. 协同过滤：利用历史求职者与岗位...
第二届阿里巴巴大数据智能云上编程大赛-智联招聘人岗智能匹配-初赛数据-数据集
03-27
在第二届大赛中，智联招聘人岗智能匹配是初赛的重要课题，通过提供的数据集，参赛者需要构建模型以实现高效精准的人岗匹配。 本次大赛的数据集包含三个关键文件：table2_jd.csv（职位描述表）、table3_action.csv...
干部信息管理系统差异版》是针对于机关、企事业单位对干部人员资料信息化管理的一款软件.zip
03-07
同时，系统还能根据工作表现和能力指标，为每个干部推荐最适合的职位或培训课程，实现人岗匹配，提升整体组织效能。 在技术实现上，本系统基于HTML构建用户界面，保证了跨平台的兼容性和良好的用户体验。HTML5的...
人岗智能匹配1-数据集
03-28
基于java下的springboot的人职匹配推荐系统展示
ybigbear的博客
03-19 227
随着科学技术的飞速发展，各行各业都在努力与现代先进技术接轨，通过科技手段提高自身的优势；对于人职匹配推荐系统当然也不能排除在外，随着网络技术的不断成熟，带动了人职匹配推荐系统，它彻底改变了过去传统的管理方式，不仅使服务管理难度变低了，还提升了管理的灵活性。这种个性化的平台特别注重交互协调与管理的相互配合，激发了管理人员的创造性与主动性，对人职匹配推荐系统而言非常有利。本系统采用的数据库是Mysql，使用SpringBoot框架开发，运行环境使用Tomcat服务器，ECLIPSE 是本系统的开发平台。
Python MUFFIN人岗匹配，推荐算法，Self-Attentional Multi-Field Features Representation and Interaction Learning
最新发布
L_goodboy的博客
03-16 513
Python MUFFIN人岗匹配，推荐算法，Self-Attentional Multi-Field Features Representation and Interaction Learning
基于Python实现的简历智能推荐算法
毕业作品网站
06-04 3755
之后，对于求职简历和工作描述的非结构化字段，提取了关键词信息：利用6000多句带标注的数据，有监督的训练了条件随机场模型（CRF）和改进的bi-LSTM-CRF模型。随后，分析了提取关键词的“长尾效应”，并利用自编码器无监督的学习了文本的关键词向量的表示。结果表明匹配相同工作描述的文本的关键词向量，有聚类的现象。因此高效、准确的将合适的人推荐到合适的岗位，有很大的实际意义。最后本文分析了模型训练的结果：在测试数据集上，画出了模型预测结果的ROC曲线，并计算了AUC。3.2.2 技术关键词的提取 19。
稳定匹配算法研究
宋宇超的博客
08-18 994
优质资源 传送门1 优质资源 传送门1
Matching
acpfxld1555的博客
03-27 202
HALCON 10.0 II-B 3.1 Gray-Value-Based Matching 基于灰度的匹配是一个非常经典的方法，它仅适用于对象的不模糊，不缺失，灰度值不变化。适用于对象旋转转。注意对 于所有的应用，相关性和基于形状的匹配是要优先考虑的。使用灰度匹配的理由可能是由于匹配的对象和灰度有关系。 The rare cases in...
图解算法岗求职实况：理想很丰满，现实很骨感
热门推荐
THU数据派
02-11 1万+
来源：100offer本文约5000字，建议阅读8分钟。本文通过数据、采访与真实案例，带你走进2017年算法岗求职市场的真实现状。人工智能火热的 2017 年，算法相关岗位无论在薪资还是受欢迎程度上，均在市场中名列前茅。但在 17 年整体算法岗求职市场排摸中，我们却发现到几位高薪入职新岗位的算法候选人，纷纷在入职新公司不久后因水土不服而火速离职。这不禁使我们疑惑：2017 年，算法工程师的求职之路
用python处理第二届阿里巴巴大数据智能云上编程大赛智联招聘人岗智能匹配挑战赛初赛数据
04-22
使用Python来处理第二届阿里巴巴大数据智能云上编程大赛智联招聘人岗智能匹配挑战赛初赛数据，需要先下载相关的数据集。然后，使用Python中的Pandas、NumPy等库进行数据处理和分析，使用Scikit-learn等机器学习库来训练机器学习模型。可以使用Jupyter Notebook等工具来整合代码和结果展示。具体的处理步骤需要根据数据集具体情况而定。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值