张伟的专栏

有一天，妈妈对他说："约瑟，看看你的毯子，又破又旧，好难看，真该把它丢了。总体来说，ChatGPT 出题的水平比做题的水平高多了，完全可以直接使用。如果你需要对某一类型大量出题，然后挑选，也可以在 prompt 中声明，比如"拟出 20 道选择题"等等。接下来，我们点击页面左上角"new chat"按钮，另开一次会话，看看对原题题干内容，ChatGPT 当老师会出什么题目。注意，第 3 题我们在询问时必须稍作修改，ChatGPT 没法在试卷上划线，所以我们改成"请你摘录原文中的说原因的句子"。

【ChatGPT】预训练模型微调及其应用（ChatGLM-6B、duckduckgo_search、GPT在科研的应用等）_山顶夕景的博客-CSDN博客

原文：基于ChatGLM-6b+Streamlit+QDrant+DuckDuckGo搭建本地问答机器人及缓解时效性问题方案本地部署chatglm及缓解时效性问题的思路：模型使用chatglm-6b 4bit，推理使用hugging face，前端应用使用streamlit或者gradio。微调对显存要求较高，还没试验。可以结合LoRA进行微调。缓解时效性问题：通过本地数据库或者搜索引擎获取特有数据或者实时数据作为生成模型的上下文。windows 1132G 内存GTX 3080Ti安装anaconda或者

https://www.toutiao.com/video/7235129190796755516/?channel=&source=search_tab

的结构化和非结构化医学知识，并利用基于知识的指令数据进行微调，使得模型具有较为丰富的医学领域专业知识，从而为智能诊断作出较为专业的回答。中提取相关的医学知识，生成多样的指令数据，以确保模型回答问题的事实正确性，并收集了超过8000条指令数据进行监督微调。通常只在英语语境下进行训练，这限制了它们在其他语言环境下的理解和响应能力，例如中文，因此它们在中国语境中的应用受到极大限制。做的更好，回答的也更加详细，但更多的也是一些偏向于科普式的回答，并没有非常惊艳的效果。为了更快速高效的训练，作者采用。

，这个问题明显是“登录”这个意图，而如果我们知识库中有关于解答“如何登录”的相关文章段落，就可以将这个段落抽取出来，作为prompt上下文，连带用户的提问发给ChatGPT。他就可以基于上下文给出特定问题的答案。例如，在上文中“VideoGram”作为网站名称，如果不想泄露的话，可以将此名称替换为{{SiteName}}，待ChatGPT返回答案后，再将答案中的{{SiteName}}替换回来。这样，我们就可以将用户提问的文本向量，和知识库中的向量集合进行比较，从而找到用户意图和知识库匹配的段落。

昨日 GitHub Trending 上榜的开源项目，基于 AI 技术提高你的生产力。借助 AI 你能搭建自己的数字人、搭建自己的法律助手、文档分析助手。本期推荐开源项目目录：1. 数字人开源项目2. AI 法律助手3. 为 PDF 文档打招一个聊天机器人。

目前”源”已全面开源开放，开放模型API、开源高质量中文数据集、模型训练代码、推理代码、应用代码、面向AI芯片的模型移植开发代码，开放平台已服务超4000名行业开发者，覆盖互联网、金融、教科研和自动驾驶等行业领域，大大降低了不同行业不同任务的AI应用开发门槛。也就说，198个政策资料，最终变成了统一的“一屏通”。这套系统最大的价值在于，为数字助理（语音助理）这一类型产品提供了一个新的架构思路，全流程一键式打通从打造“好看的皮囊”到“有趣的灵魂”，同时可以实时语音交互的数字人。每个模块都可以轻松地更换。

本文会分析一下来自清华的ChatGPT，这篇论文的价值很大，为什么这么将？因为他开源了所有代码，包括模型，baseline。确实是一个不错的里程碑。

据官方介绍，ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B中注入了代码预训练，通过有监督微调等技术来实现人类意图对齐（就是让机器的回答符合人类价值观、人类期望）。它对新信息的掌握度不错，知道推特现在的CEO是马斯克，也知道何恺明3月10日回归学界的事情，但还没发现GPT-4已经发布了。不幸的是，论文挑战没有通过，我们把GLM-130B的链接扔给它，让它简要概括一下主题时，它说的根本不是这篇。以及，目前响应速度还是非常快的，无论什么问题，回答得对不对，基本几秒内就能给出答案。

无论显式的依靠补充信息，还是隐式的进行微调训练、增强训练，都还有其局限性和难度存在。在选择方法时，需要对自有数据场景做好判断，选择合适的方法。工作8年，最初做NLP，后又做了4年多计算广告，如今终于看到在LLM的发展下，NLP终于又有了落地应用的可能性，心里还是充满了激情的，过去的几年中，NLP相较CV图像领域，实在是表现低迷，缺乏场景。相信不久的将来，会有更多的LLM垂类场景出现亮眼的表现。编辑于 2023-04-23 10:41・IP 属地北京。

langchain-ChatGLM是一个基于本地知识的问答机器人，使用者可以自由配置本地知识，用户问题的答案也是基于本地知识生成的。GitHub - imClumsyPanda/langchain-ChatGLM: langchain-ChatGLM, local knowledge based ChatGLM with langchain ｜ 基于本地知识的 ChatGLM 问答。

初代 GPT 到底做了什么？有哪些贡献？第一，它是最早一批提出在 NLP 任务上使用 pre-train + fine-tuning 范式的工作。第二第三，预训练模型具有 zero-shot 的能力，并且能随着预训练的进行不断增强，如下图：值得注意的是，上述第二和第三点，也直接预示着后续 GPT-2 和 GPT-3 的出现。

ChatGPT 几个月前问世，并以其回答来自广泛知识集的问题的能力震惊了所有人。在 ChatGPT 展示大型语言模型的强大功能时，Dagster 核心团队遇到了一个问题。推荐：用 NSDT场景设计器 快速搭建3D场景。

ChatGPT Prompt Engineering for Developers》作为由吴恩达老师与 OpenAI 联合推出的官方教程，在可预见的未来会成为 LLM 的重要入门教程，但是目前还只支持英文版且国内访问受限，打造中文版且国内流畅访问的教程具有重要意义。

为了构建能实际使用的 AI 工具，我们需要基于基础模型构建定制化模型，中间的过程包含微调（Fine-tuning），这是一个复杂且耗时的过程，对于很多人来说，简便易行的调试是不存在的。简单来说，Lamini 提供了一种托管化的数据生成器，只需执行 Lamini 库中的几行代码，用户就能训练自己的大型语言模型（LLM）及其权重，而无需使用任何 GPU。总的来说，Lamini 把微调模型封装成一种服务，让开发者们只用非常简单的步骤就能把基础模型微调成性能良好的垂类模型，这大幅降低了构建 LLM 的技术门槛。

原文：从GPT-1到GPT-4，再到未来的GPT-5，一文带你了解GPT的前世今生和未来! - 腾讯云开发者社区-腾讯云引言ChatGPT爆火的余热还没退去，GPT-4又横空出世，各大媒体都争相报道，朋友圈也在不断刷屏，打工人更是感叹饭碗要被AI夺走了！作为一名理性吃瓜群众我们还是得去了解一下GPT的过去、现在和未来，正所谓知己知彼，百战不殆，只有充分了解"对手"，我们才能驾驭AI为我所用！话不多说，立马开始！GPT-1之前：传统NLP遭遇瓶颈首先我们要了解的是GPT（Generative

总之，强化学习是一种研究智能体如何在不断与环境互动中学习最优策略的机器学习方法，它具有广泛的应用前景。随着深度学习技术的发展，强化学习在各领域的应用和性能得到了显著提升，为解决复杂的实际问题提供了新思路和有效手段。

本文针对近期利用预训练语言模型解决推荐任务的工作进行了简要介绍。从这些文章中我们可以看出，随着大模型的不断发展，存储的知识越来越多，其能力也越来越强悍。通过将推荐任务描述成语言模型可以建模的自然语言处理任务，可以将预训练语言模型有效地应用到推荐领域当中，解决推荐任务。这也是自然语言处理和推荐系统的进一步融合。

• 我们提出了一种新的学习范式RRHF,用于大规模语言模型,可以利用各种响应来与人类偏好对齐。训练好的模型可以被视为生成的语言模型和用于评分的奖励模型。• 这种范式是SFT训练的扩展,如果奖励分数由人标注,它与训练奖励模型相同。• 相比PPO,这种范式在编码难度、训练中使用的模型数量和超参数数量方面更简单,并在Anthropic的Helpful和Harmless数据集上获得可 comparable 的性能。

原文：百度安全验证。

LLaMA模型是这类开源模型的鼻祖，很多模型都是基于此进行二次开发、微调、优化、训练等，但对中文支持并不友好。Alpaca和Vicuna用了LLaMA的模型，利用gpt3.5来帮助原有的模型进行RLHF，理论上，用这种方式，不断迭代进行训练，可以无限接近于chatgpt本身。Vicuna目前也是成本很低的一种模型，很适合个人开发和训练。ColossalChat没有用chatgpt来训练，而是利用自己的数据进行RLHF，严格来说，它才是真正复刻了chatgpt完整的训练过程。

如下图所示，给出提示词“莫奈风格的猫”，原始的stable diffusion生成的图片里，大多数没有猫，而是生成了“莫奈风格”的其他作品，这是由于“莫奈作品”中鲜有猫的身影，而stable diffusion没有完全理解文本的含义。数据收集可以利用正在训练的生成模型作为生成器，也可以利用预训练模型（例如LLaMA、ChatGPT，甚至人类）和训练模型的混合模型作为生成器，有利于提升数据生成的多样性和质量。您可以使用它来构建各种类型的语言模型，包括对话模型、问答模型和文本生成模型等。

现在我们已经建立了软件环境并从OpenAI获得了API密钥，让我们来训练人工智能聊天机器人。在这里，我们将使用 “” 模型，而不是最新的 “gpt-3.5-turbo” 模型，因为Davinci在文本完成方面效果更好。如果你愿意，你完全可以把模型改为Turbo，以减少成本。说完这些，让我们跳到说明上。添加你的文件来训练人工智能聊天机器人1. 首先，在一个可访问的位置（如桌面）创建一个名为docs的新文件夹。你也可以根据自己的喜好选择其他位置。然而，保持文件夹的名称为docs。

这个想法，来源于我的个人需求，我连载了将近 100 期 newsletter，积累了很多内容，我希望将这些资料导入给 AI ，然后 AI 能拿这些数据回答我的问题，甚至能给我一些写作建议等。Text: """"""这个方法能用是能用，但目前 ChatGPT 有个非常大的限制，它限制了最大的 token 数是 4096，大约是 16000 多个字符，注意这个是请求+响应，实际请求总数并没那么多。

成人出现头痛和流鼻涕的症状，可能是由于普通感冒或常年过敏引起的。'content': f'你是一个有帮助的AI文章助手，从下文中提取有用的内容进行回答，不能回答不在下文提到的内容，相关性从高到底排序：\n\n{text}'},从代码的角度来看，其实现路径较为简单，主要难点在于如何针对文档进行切分，尤其是针对一些扫描版文档，文档格式较为复杂的场景时，则需要使用版式分析、OCR等技术。因为提示词的长度有限，每个匹配的相关摘要我在这里只取了前300个字符，如果想要更多的相关摘要，可以把这里的300改为更大的值。

下面这段代码就是最开始我验收那些效果的真实代码，基本和入门代码差不多，不同的是我在上面增加了输入需求的初步过滤，这样生成的 SQL 精准度会高非常多。chatGPT 更多的应用场景和落地注意事项，勇哥将在 12 月 19 号的直播中阐述，欢迎各位同学来捧场交流。这两种方式进过效果对比，第 2 种效果非常的好，于是我就在我的产品中按照第 2 中模式开发了一个对大家有帮助的功能：“基于你自己的。，来教大家入门 chatGPT，以及 49 种场景的介绍，欢迎大家关注我，到时候直播实现好及时通知。

摘要生成可以帮助模型生成更加简洁准确的回复，提高对话的质量。摘要生成可以应用于以下几个方面：· 自动化文本摘要ChatGPT可以通过摘要生成技术自动化地生成文本摘要，将长篇文本内容压缩成简明扼要的摘要。这种方式可以节省用户的时间和精力，并提高用户阅读效率。· 新闻摘要ChatGPT可以通过摘要生成技术自动生成新闻摘要，将新闻文章中的关键信息提取出来，并生成简明扼要的摘要。这种方式可以帮助用户快速了解新闻事件的核心内容。· 阅读理解。

标题有点长，但是基本也说明出了这篇文章的主旨，那就是利用GPT AI智能回答自己设置好的问题既能实现自己的AI知识库机器人，又能节省ChatGPT调用的token成本费用。

顾名思义，大规模语言模型就是非常大的语言模型。什么是语言模型呢？简单说来，语言模型的作用就是根据已知句子的一部分，来预测下一个单词或者空缺部分的单词是什么。比如，给你前半句：“我是一只小小 ____”，你预测出空白部分大概率会是“鸟”。其实，你天天都在用语言模型，当你使用手机或电脑里的输入法回复消息时，它就在推荐你下一个单词。只是ChatGPT 的语言模型可比输入法中的要大很多。

以前人和机器是通过程序来交流，而随着AI技术的发展，人跟AI之间的交流方式将变为自然语言。我们可以先以问答的形式，给出一个示例，并且答案中写明推理过程。前特斯拉AI总监karpathy曾说：当前最热门的编程语言是英语（他的意思就是自然语言将是和AI交流的方式）优化一下推理的提示过程，先做单位转换，再做计算。可以看作是自然语言编程，能够让AI理解你的意思，从而帮助你提升工作效率。首先，针对特定问题，我们可以“教”它怎么推理，这叫思维链（CoT）提示。可见，有效且准确的思维链提示，对回答问题的质量是有帮助的。

下图左边是一般的提示词方法，通过给大模型输入一个样例，大模型就能学会这个新的任务，这种提示词是直接给出答案，在复杂推理时会容易出错。下图右边是思维链提示词，和前面不同的是在给出的样例(蓝色)时，增加了推理步骤，直到得到最后答案。ChatGPT刚推出的时候，大家会发现它在数学运算方面表现不佳，因为复杂的数学问题需要多步推理过程，但没过多久就发现它有了重要提升，而且回答方式也有了显著的变化。思维链提示词大幅提升了大模型复杂推理能力的准确度，而这只是提示词的一种使用技巧，一定还有更多的方式等我们去发现。

在正式教程之前、聊聊dreambooth的发展、帮大家理清一下思绪。

本文章是知乎的一个问题。下面这个感觉不错。作者：空白格链接：https://www.zhihu.com/question/588685139/answer/2976024379来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。我们大多数人都熟悉 Stable Diffusion 等 AI 图像生成器。然而，它远不止图像生成那么简单，我们可以在很多领域使用它们；Stable Diffusion 是数学模型。而且，它们可以帮助你研究随时间变化的系统动态。

目录。

随着人工智能的能力，特别是大型语言模型 (LLM) 的不断发展和演变，开发人员正在寻求将 AI 功能整合到他们的应用程序中。虽然文本完成和摘要等简单任务可以通过直接调用 OpenAI 或 Cohere 提供的 API 来处理，但构建复杂的功能需要付出努力和工具。Jon Turow 和他在 Madrona 的团队首先指出了这一点，他们指出在本文中，我们将探索三个开源 AI 框架，它们可以帮助开发人员更快地构建 AI 功能但首先，让我们仔细看看这些框架需要提供哪些功能才能有效。

原文：快跑！传说中的GPT4真的来了！多模态，吊打旧版ChatGPT! - 知乎目录牛逼!!!对不起，我实在没忍住说出这两个字！过了一遍资料，先说结论：GPT4这波OpenAI直接王炸！要不起！真的是遥遥领先！刚晚上十一点还和同学讨论GPT4咋还没出来呢，我好像记成16号了，还想着这不是和百度的文心一言撞上了嘛，到时怕是免不了误伤啊。结果凌晨一点半突然刷到新闻，大脑有点爆炸，毕竟GPT4是个活在传说中很久的模型了，一时竟然不敢相信。反复确认为真之后，一时有点恍惚，一来是有点晚

原文：https://baijiahao.baidu.com/s?id=1762136352137103511&wfr=spider&for=pc为什么仿佛一夜之间，自然语言处理（NLP）领域就突然突飞猛进，摸到了通用人工智能的门槛？如今的大语言模型（LLM）发展到了什么程度？未来短时间内，AGI 的发展路线又将如何？自 20 世纪 50 年代图灵测试提出以来，人们始终在探索机器处理语言智能的能力。语言本质上是一个错综复杂的人类表达系统，受到语法规则的约束。因此，开发能够

原文：张俊林：由ChatGPT反思大语言模型（LLM）的技术精要（2）02 学习者：从无尽数据到海量知识从目前研究结果看，Transformer是足够强大的特征抽取器，尚不需要做特别的改进。那么通过预训练过程，Transformer学到了什么？知识是如何存取的？我们又如何修正错误知识？本节讲述这方面的研究进展。1. 求知之路：LLM学到了什么知识LLM从海量自由文本中学习了大量知识，如果把这些知识做粗略分类的话，可以分为语言类知识和世界知识两大类。语言类知识指的是词法、词

为什么是OpenAI作出了ChatGPT，而不是其它机构呢？我们在这里可以做个简单分析。在本文开头，我们提到了OpenAI看待LLM的理念。OpenAI是怎么看待LLM的呢？回顾它不断推出的技术，可以看出，它其实从GPT 1.0开始，基本就坚定地把LLM看做是通往AGI的一条必由之路。具体而言，在OpenAI眼中，未来的AGI应该长这个样子：有一个任务无关的超大型LLM，用来从海量数据中学习各种知识，这个LLM以生成一切的方式，来解决各种各样的实际问题，而且它应该能听懂人类的命令，以便于人类使用。