程序员，AI探索者

大家好，我是每天分享AI应用的萤火君！CogVLM2是一款视觉语言模型（Visual Language Model），由智谱AI和清华KEG潜心打磨。这款模型是CogVLM的升级版本，支持高达 1344 * 1344 的图像分辨率，提供支持 中英文双语 的开源模型版本。这类模型可以做很多跨领域的活儿，比如给图片配上描述文字、回答关于图片的问题（这叫VQA，就是视觉问答）、或者根据描述去找对应的图片等等。

大家好，我是每天分享AI应用的萤火君！本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。

Llama3是一个大型语言模型系列，它们是一组预先训练好的、专为对话场景优化的文本生成模型，目前包含80亿参数和700亿参数两种规格，两个规格均有预训练版和经过指令调优的版本可供选择。Llama3模型仅接收文本输入，模型仅生成文本和代码。Llama3经过指令调优的模型在常见行业基准测试中，性能超越了许多现有的开源聊天模型。8B参数的性能甚至大幅超越了之前的Llama2-70B的性能，革了自己的命。Llama 3采用自回归语言模型设计，运用了优化后的Transformer架构。

有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。

阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B，网上都说很强很强，那么它到底强在哪里呢？

大模型炒了一年，为什么没有特别火的应用？最近几天360创始人周鸿祎称，去年感觉大模型是原子弹，今年感觉是茶叶蛋。什么意思？我想大概就是说大模型谁都能玩了，现在国内的大模型没有一千，也有几百个了，大模型没什么稀奇的了。但是另一方面也反映了大家都是为了大模型而大模型，但是大模型没能解决什么实际问题，或者说解决的问题太小，有点让人失望了。

在之前的文章中我演示了插件的使用方法，比如查询实时天气、进行数学运算等，这些都是大模型自身做不到的事情，因此可以说插件的主要作用是扩展了大模型的处理能力。那么Assistants能干什么呢？Assistants的主要作用是强化大模型在某方面的应用能力，比如目前已经大范围使用的AI客服和知识库助手，它们可以准确的理解用户的问题，并在限定的知识范围内进行精准回答。

欢迎阅读本系列文章！我将带你一起探索如何利用OpenAI API开发GPT应用。无论你是编程新手还是资深开发者，都能在这里获得灵感和收获。本文，我们将继续展示聊天API中插件的使用方法，让你能够轻松驾驭这个强大的工具。

实测GPT-4要比GPT-3.5的效果好很多，如果你用GPT-3.5，可以在Json前增加这段话：我会给你一个Json格式的初始指令，后续问答你都必须严格按照这个指令处理，下面是我的指令：如果你用百度文心一言，也有一定的效果，只是上下文控制的不太好，不建议。基于这套方法，其实我们可以做的更好，比如记住用户的答题情况，下次出题时传递给AI，让AI提供更适合学生提升的题目，不要太难，也不要太简单，稍微跳一下就能达到。

本文介绍GPT大模型的API进行编程的方法。很多机器学习框架和类库都是使用Python编写的，OpenAI提供的很多例子也是Python编写的，所以为了方便学习，我们这个教程也使用Python。