大模型补充知识

1. 资源站点

• 模型权重：modelscope
• 应用代码：github

2. 下载模型

• Base: Qwen1.5-0.5B
• Chat: Qwen1.5-0.5B-Chat

3. 开发范式

• 传统深度学习：

  • 针对某个具体的问题
  • 搭建针对性的模型
  • 采集针对性的数据
  • 训练模型
  • 模型评估
  • 模型部署

• 大模型时代：

  • 1，预训练一个不针对任何任务的模型

    • 大量的数据和时间
    • 自监督学习
    • base 底座大模型

  • 2，SFT 针对特定任务的微调

    • 对齐人类说话风格
    • 对齐行业知识
    • 对齐多轮对话
    • 对齐价值观/意识形态

  • 3，RLHF 基于人类反馈的强化学习

    • 进一步做上述对齐

4. 大模型时代，开发者能干什么？

• 一句话：把公共大模型（大公司产品，开源大模型）变成私有（行业，领域，个人）大模型

• 原因：

  • 数据安全
  • 行业知识
  • 费用问题
  • 系统集成

• 策略