智能简历平台Plus——基于LLaMA-Factory 对 ChatGLM-6B 进行专业领域微调

基于LLaMA-Factory 对 ChatGLM-6B 进行专业领域微调：实现个性化职业建议系统

在构建个性化职业建议系统时，利用大型语言模型（如 ChatGLM-6B）能够显著提升系统的智能性和实用性。本文将介绍如何通过阿里云和 LLaMA-Factory 微调 ChatGLM-6B 模型，结合 MBTI 性格类型、星座、性别和专业等用户信息，为用户提供精准的职业评价和就业建议。

项目背景

为了为用户提供基于个性化背景的职业建议，我们通过阿里云和 LLaMA-Factory 对 ChatGLM-6B 模型进行微调。微调后的模型可以根据用户输入的 MBTI 性格类型、星座、性别、专业等信息进行分析，并生成专业的职业评价和就业建议。

项目概述

---

• 数据收集与准备

---

• 模型微调

---

• 功能实现

---

• 系统集成

---

• 测试与优化

---

• 数据收集与准备

---

数据来源
我们针对 MBTI 性格类型、星座、性别和专业等方面收集了相关数据：

MBTI 性格类型: 收集 MBTI 各类型的描述、优缺点、适合的职业方向等数据。
星座: 收集星座的性格特征、职业倾向、适合的工作环境等信息。
性别: 收集性别在职业选择上的影响因素和常见的职业路径。
专业: 收集各专业的就业趋势、行业需求、典型职业路径等信息。
数据处理
数据清洗: 去除冗余和不相关数据，确保数据质量。
数据格式化: 将数据整理成统一的格式，包括特征描述、评价标准、职业建议等。
数据标注: 为不同的 MBTI 类型、星座、性别和专业分别标注合适的职业方向和建议。
示例数据结构
每个数据项包含如下字段：

{
  "mbti": "INTJ",
  "star_sign": "天蝎座",
  "gender": "男",
  "major": "计算机科学",
  "description": "INTJ 类型的人通常逻辑严密，独立且有远见。",
  "career_advice": "适合从事数据分析、软件开发、研究型工作。"
}

模型微调

微调目标
通过微调，使 ChatGLM-6B 模型能够基于用户的 MBTI、星座、性别和专业信息，生成个性化的职业评价和就业建议。

微调过程

1. 部署环境:

   在阿里云上配置合适的云实例，如具有 GPU 的实例（例如 ecs.gn6i-c24g1.xlarge）。

2. 安装所需的软件和依赖项，如 Python、CUDA、PyTorch、LLaMA-Factory。 数据准备:

3. 确保数据集的格式和质量满足微调需求，上传到阿里云服务器。 在LLaMA-Factory中选择合适的数据集组合和参数，开始微调模型微调:微调前：微调后： 可以观察到输出效果好了很多。

4…启动服务:微调后，将模型部署为服务，提供 HTTP API 访问。