大模型作为工作岗位匹配器

概述

本文的研究背景是为了准确地识别劳动力所需的技能和已具备的技能，自动提取工作岗位所需技能是一项具有挑战性的任务。 过去的方法主要利用ESCO框架提供的参考技能清单进行技能提取，但是技能提取仍然困难，并且将工作帖子准确匹配到ESCO分类是一个未解决的问题。本文的方法通过大型语言模型（LLMs）建立了一个全方位的零射击技能提取系统。与以往的方法相比，使用合成数据达到了比以前的远程监督方法高10个点的RP@10分数，并且添加GPT-4重新排序使RP@10比以前的方法提高了22个点以上。研究表明，在提示LLM时将任务框架化为模拟编程可以比自然语言提示获得更好的性能，尤其是在LLM较弱的情况下。 本文提出的研究方法是通过使用合成数据训练分类器从工作岗位中提取技能，并采用相似性检索器生成技能候选项，再使用第二个LLM进行重新排序。该方法不需要人工标注数据。 本文的方法在ESCO的技能提取任务上表现出极有潜力的结果，在RP@10指标上取得了非常令人期待的结果，比以前的方法提高了很多。因此，方法的性能支持了他们的目标。

重要问题探讨

1. 从这项研究中可以看出，GPT 4与GPT 3.5相比，在RP@1、RP@5和RP@10指标上取得了较好的结果。这是否意味着GPT 4在技能匹配任务上的性能优于GPT 3.5？

答：是的，从结果表格中可以看出，GPT 4在所有metric中取得了更好的结果。例如，在Tech subset中，GPT 4在RP@1指标上达到了45.67，而GPT 3.5只有29.67。根据这些结果，可以得出结论：GPT 4在技能匹配任务上的性能优于GPT 3.5。

2. 在不使用重新排序步骤的情况下，分类器方法和相似度方法在技能匹配任务中表现如何？

答：根据结果表格，可以看出分类器方法和相似度方法在不使用重新排序步骤时都取得了竞争性的表现。例如，在House subset中，分类器方法的RP@1达到了27.16，而相似度方法的RP@1达到了32.84。这表明这两种方法都能够在技能匹配任务中取得一定的成绩，并且可作为重新排序方法的基准。

3. 在技能匹配任务中，根据MRR指标的排名质量，GPT 3.5与GPT 4之间有何区别？

答：根据结果表格，可以看出GPT 4在两个subset的MRR指标上均优于GPT 3.5。例如，在Tech subset中，GPT 4的MRR为0.512，而GPT 3.5的MRR则为0.369。这显示出GPT 4能够提供更准确的排名质量，能够更好地对应正确的标签。

4. Decorte等人在之前的研究中使用的方法与本研究中提出的方法相比如何？

答：从结果表格可以看出，在技能匹配任务中，本研究的方法在多个指标上取得了更好的结果。例如，在House subset中，本研究的方法的RP@1达到了45.67，而Decorte等人的方法只有N/A。这表明本研究的方法能够提供更准确和准确的技能匹配结果。

5. 本研究使用的数据集对技能匹配任务的评估有何贡献？

答：本研究使用了Decorte等人提供的数据集进行评估，这是目前最全面的ESCO细粒度技能匹配任务评估数据集。该数据集依托于SkillSpan数据集，以对技能或知识提及的文本片段为焦点，并进行了手动的ESCO技能标注。通过使用这个数据集进行评估，本研究提供了对技能匹配任务的全面评估，避免了对ESCO框架的近似或分组。因此，本研究的数据集评估为技能匹配任务的研究贡献了一个准确和全面的基准。

论文链接：https://arxiv.org/abs/2307.03539.pdf