Alex_StarSky的博客

细化任务描述尽可能具体地阐述需求，避免模糊表述。比如，若想了解医学领域的知识，不要问 “什么是疾病”，而是具体到 “请详细解释阿尔茨海默病的发病机制、症状表现以及当前的治疗手段”。明确专业背景在 prompt 中点明涉及的专业领域和特定背景。例如，在金融领域，“从宏观经济学和投资学的角度，分析当前利率上升对房地产市场和股票市场的影响”。

比如在进行历史事件解读时，可提供事件发生的时间、地点、主要人物等信息，“请解读 1919 年发生在北京的五四运动，包括其起因、经过和影响”。例如，若你想让模型生成一篇文章，就不要只写 “写一篇文章”，而应明确具体要求，像 “写一篇 500 字左右、以春节为主题、风格温馨且适合在社交媒体分享的文章”。比如在生成代码时，指定代码的编程语言、缩进规范等，“用 Python 语言编写一个计算斐波那契数列的函数，使用四个空格进行缩进”。例如，“请分析这个问题” 中的 “这个问题” 指代不明，应明确指出具体问题。

本文将介绍如何设计和实现具有LLM能力的聊天机器人。它作为一个有记性的聊天机器人，需管理聊天记录。需给它连接内部知识，通过某种形式的，或简称 RAG，来获取浅的，特定领域的，很有用知识，使聊天机器人更加强大。

本文介绍如何调用智谱GLM4的API，用Python语言调用GLM-4 模型实现大模型应用

LangChain是一个Python框架，可以使用LLMs构建应用程序。它与各种模块连接，使与LLM和提示管理，一切变得简单。

Prompt模版是用于生成语言模型提示的预定义模版。模板可能包括说明、小样本示例，和特定的上下文和问题（适合于特定的任务）。LangChain提供创建和使用提示模板的工具，其实也没有做太多的工作，就是字符串格式化操作差不多。模版与模型无关，使其适应在不同的语言模型中重复使用。

LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。很多时候语言模型输出文本，满足不了你的需求，你可能想得到结构化信息，而不仅仅是一段信息。这就是输出解析器的意义。输出解析器是把语言模型的响应结构化

LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。

LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。

LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。

随着OpenAI的GPT-4这样的大型语言模型（LLMs）已经风靡全球，现在让它们自动执行各种任务，如回答问题、翻译语言、分析文本等。LLMs是在交互上真正体验到像“人工智能”。如何管理这些模块呢？LangChain在这方面发挥重要作用。LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。

随着OpenAI的GPT-4这样的大型语言模型（LLMs）已经风靡全球，现在让它们自动执行各种任务，如回答问题、翻译语言、分析文本等。LLMs是在交互上真正体验到像“人工智能”。LangChain在这方面发挥重要作用。LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。

LangChain是一个Python框架，可以使用LLMs构建应用程序。它与各种模块连接，使与LLM和提示管理，一切变得简单。

LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。

随着OpenAI的GPT-4这样的大型语言模型（LLMs）已经风靡全球，现在让它们自动执行各种任务，如回答问题、翻译语言、分析文本等。LLMs是在交互上真正体验到像“人工智能”。LangChain在这方面发挥重要作用。LangChain使构建由LLMs驱动的应用程序变得简单，使用LangChain，可以在统一的界面中轻松与不同类型的LLMs进行交互，管理模型版本，管理对话版本，并将LLMs连接在一起。

LangChain是一个Python框架，让我们可以使用LLMs构建应用程序。它与各种模型连接，使与LLM和提示管理有关的一切变得简单。

通义千问 Qwen测试在显卡内存24G，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。

利用一些文档中的信息来构建答案，回答特定文档中的问题。首先需要把文本转换为文本向量，即自然语言处理常常要用的Embedding技术，Text2Vector。

粒子群算法的思想源于对鸟群觅食行为的研究，鸟群通过集体的信息共享使群体找到最优的目的地。

旅行商问题（Traveling Salesman Problem, TSP）是组合优化中的经典问题。简单地说，一个旅行商需要访问N个城市，并返回到出发城市，问题是找到最短的可能路线，使得每个城市只被访问一次。由于TSP是一个NP-hard问题，找到其精确解决方案是非常计算密集型的，特别是对于大规模的城市集。因此，我们需要一种可以在合理的时间内得到近似解的方法。模拟退火算法（Simulated Annealing, SA）是一个非常受欢迎的随机搜索技术，用于求解优化问题。

数据如何计算并转换到新的列？时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。此处选择巴黎、伦敦欧洲城市空气质量监测NO2​数据作为样例。

模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却。加温时，固体内部粒子随温度升高变为无序状，内能增大，而缓慢冷却时粒子又逐渐趋有序。从理论上讲，如果冷却过程足够缓慢，那么冷却中任一温度时固体都能达到热平衡，而冷却到低温时将达到这一低温下的内能最小状态。

CodeGeeX是一款基于大模型的全能的智能编程助手。它可以实现代码的生成与补全、自动添加注释、代码翻译以及智能问答等功能，能够帮助开发者显著提高工作效率。CodeGeeX支持主流的编程语言，并适配多种主流IDE。

本文是遗传算法的一个示例，利用遗传算法来走迷宫，如果能从起点顺利走到终点，就能获胜。迷宫图中，绿点为迷宫起点，橙色点为迷宫终点。

用ChatGLM的工具可以实现很多查询接口和执行命令，外部工具该如何配置使用？如何联合它们实现大模型查询助手功能？例如调用工具实现股票信息查询，网络天气查询等助手功能。如何实现调用工具的逻辑。

本文分享经典的算法：遗传算法受到生物进化理论启发，模拟生物种群的进化过程。遗传算法是一类基于生物进化理论的优化算法，通过模拟生物进化的过程，通过选择、交叉和变异等操作，不断优化解决问题。遗传规划算法（Genetic Programming，简称GP）作为进化算法的一种，通过演化生成程序或模型来解决问题。使用Python语言实现一个遗传算法。

LangChain 由几个主要模块组成，针对每个模块，文档提供一些入门示例、指南、参考文档和概念指南。后面基于LangChain做一些好玩的实验和有意思的测试吧。LangChain 可以支持的一些常见用途。

用ChatGLM的工具可以实现很多查询接口和执行命令，而LangChain是很热的大模型应用框架。如何联合它们实现大模型查询助手功能？例如调用工具实现网络天气查询助手功能。

一个免费查询股票信息的API接口。股票研究的实践中需要查询股票市场接口，百度搜索大多链接都要收费或者注册。

GPT实战系列-如何使用大模型查询助手功能？例如调用工具实现网络查询助手功能。目前只有 ChatGLM3-6B 模型支持工具调用，而 ChatGLM3-6B-Base 和 ChatGLM3-6B-32K 模型不支持。

GPT模型生成文本序列是通过预测下一个 token 的方式来实现。大模型的参数多，上亿的参数，T, P级别的海量训练语料数据，训练模型的过程基本都遵循分阶段模式。

ChatGLM，Baichuan，GPT等大模型的文本生成，有什么特点？功能如何扩展？

不做特别处理，深度学习默认参数精度为浮点32位精度（FP32）。大模型参数庞大，10-1000B级别，如果不注意优化，既耗费大量的显卡资源，也耗费大量的训练时间。有的地方32位精度没有太大必要，这就是浮点精度和量化的动力来源。大模型的训练和预测过程中，如何加快训练速度？如何降低显存占用？有哪些简单的方法？

什么预训练？什么是pretraining？什么是Base model，什么是SFT model？CPT和ChatGPT是一样的吗？以GPT为例，LLM训练流程分为4个阶段：预训练，监督微调训练，奖励评价训练，强化学习。分别生成预训练模型（Base model，基础模型），如GPT3，GPT4；监督精调模型SFT模型，RM奖励评价模型，和最后的生成模型，如ChatGPT。

P-Tuning v2 将 ChatGLM2-6B 模型需要微调的参数量，减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。本文试图解读训练环节中，代码的背后含义，配置符合自己要求的，通过命令行配置参数（sh脚本，把配置参数指定到模型，数据和训练的参数类中。

P-Tuning v2 将 ChatGLM2-6B 模型需要微调的参数量，减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。p-tuning训练过程函数分为五个部分，这五部分到底做了啥？

本地部署大模型，那么如何用小显存部署和使用也是非常重要，让AI的价值应用并延伸到更广泛的领域。本实战专栏继续关注小而美的大模型，将评估一系列的开源模型，尤其关注国产大模型，重点在于可私有化、轻量化部署，比如推理所需的GPU资源控制在24G显存内，2张Titan XP，或1080 Ti。

ChatGLM-6B是开源的文本生成式对话模型，基于General Language Model(GLM)框架，具有62亿参数，FP16 半精度下，ChatGLM-6B 需要 13GB 左右的显存进行推理。文章对P-Tuning的训练参数进行详细解读，有助于微调、训练的顺利开展。

本文面向的读者对象是如何使用自己的数据集，微调训练ChatGLM2大语言模型。将阐述数据如何组织，样例数据的获取。训练脚本，代码如何根据自己情况进行调整，以及常见的问题解决方法和思路。

本实战专栏将评估一系列的开源模型，尤其关注国产大模型，重点在于可私有化、轻量化部署，比如ChatGLM2模型是清华研究团队领衔开发的ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2更强大的性能。