![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 93
-派神-
每天进步一点点……
展开
-
LangChain的函数,工具和代理(六):Conversational agent
今天我们回顾了在langchain中实现基本的函数调用方法,以及在此基础上进行手动优化和自动优化的流程,最后我们将所有的功能整合在一起开发了一个自动化的聊天机器人,它具有记忆能力同时还能根据用户的问题来自主判断是否调用外部函数并给出对用户友好的回复,希望今天的内容对大家学习langchain有所帮助!原创 2023-12-08 13:55:10 · 2130 阅读 · 0 评论 -
微调大型语言模型(一):为什么要微调(Why finetune)?
今天我们来学习Deeplearning的在线课程 微调大型语言模型(一)的第一课:为什么要微调(Why finetune)。我们知道像GPT-3.5这样的大型语言模型(LLM)它所学到的知识截止到2021年9月,那么如果我们向ChatGPT询问2022年以后发生的事情,它可能会产生“幻觉”从而给出错误的答案,再比如我们有一些关于企业的某些产品的业务数据,但是由于ChatGPT没有学习过这些数据,因此它也无法正确回答出关于这些产品的问题。为了扩大LLM的知识面,让LLM能够更好的学习并掌握新知识从而更好的为用原创 2023-09-21 22:51:27 · 1290 阅读 · 0 评论 -
使用 Gradio 构建生成式 AI 应用程序(一): 图片内容读取app
今天我们学习了如何通过blip-image-captioning-bas模型来读取图片内容信息,使用该模型一般有两种方法,一种是api调用的方式,但是需要在云端部署模型的应用程序,另一种是将模型下载到本地,然后在本地加载模型,两种方法都有各自的优缺点。另外我们还学习了如何使用gradio来开发一个基于blip-image-captioning-bas模型的读取图片内容的web app,同时我们还学习了gradio的主要方法Interface及其主要参数。希望今天的内容对大家学习gradio有所帮助。原创 2023-08-11 20:29:55 · 2075 阅读 · 3 评论 -
使用langchain与你自己的数据对话(二):向量存储与嵌入
今天我们学习了嵌入和向量数据库的基本原理,并且对嵌入(Embeddings)和开源数据库Chroma进行了实际的操作,并观察了各种的返回结果,同时我们还发现了两种Chroma数据库相似搜索失效的场景。关于如何避免失效的应用我们将在下一篇博客中进行讨论。原创 2023-07-24 22:01:16 · 4072 阅读 · 4 评论 -
使用langchain与你自己的数据对话(一):文档加载与切割
今天我们学习了文本的加载与分割,Langchain提供了丰富的外部数据加载器,这些外部数据可以是结构化的,也可以是非结构化的,其中我们还介绍了从网页和youtube视频中加载文本的方法,这个挺有意思的,大家可以尝试一下,由于外部数据量可能比较大,如pdf, text文档等,因此当我们加载了外部数据以后,我们还需要对数据进行分割处理,我们介绍了几种文本分割的方法,其中有按字符分割的CharacterTextSplitter分割器,和递归分割的RecursiveCharacterTextSplitter分割器。原创 2023-07-20 17:55:52 · 15844 阅读 · 5 评论 -
LangChain大型语言模型(LLM)应用开发(二):Conversation & Memory
LangChain是一个基于大语言模型(如ChatGPT)用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,以便在不同的应用程序中使用。原创 2023-06-30 15:29:12 · 1648 阅读 · 0 评论 -
LangChain大型语言模型(LLM)应用开发(一):Models, Prompts and Output Parsers
今天我们学习了如何使用langchain来创建prompt模板,并且langchain的prompt模板会自动识别prompt中的内嵌变量,在生成message时只需在prompt模板的format_messages方法中传递所需变量即可。另外我们还学习了如何通过Langchain来解析LLM的输出结果,通过创建ResponseSchema和StructuredOutputParser,可以产生用来指导LLM如何产生格式化数据的prompt即format_instructions ,LLM会根据format原创 2023-06-29 23:15:28 · 3526 阅读 · 0 评论 -
使用大型语言模(LLM)构建系统(七):评估1
今天我们学习了如何评估LLM的回复的正确性,通过建立测试用例来测试LLM的回复,当LLM的回复不符合要求时,我们需要修改prompt来让LLM输出正确的结果,在修改prompt时我们在system_message中增加了控制输出结果的语句,同时增加少量学习样本(few-shot prompt),这样更好的微调了LLM,确保LLM按正确格式输出结果,最后我们通过建立自动化测试用例来评估LLM的回复是否与理想答案一致,并得到了LLM的评估分数。原创 2023-06-20 14:23:31 · 2946 阅读 · 0 评论 -
使用大型语言模(LLM)构建系统(六):构建端到端系统
今天我们学习了如何构造一个端对端对机器人问答系统,该系统包含了大型语言模型(LLM) 处理用户信息的完整流程,总共包含7个主要的步骤:内容审核1,查询产品目录清单,查询产品信息,生产最终回复,内容审核2,检验最终回复,输出最终回复。这里面每一个步骤的主要功能和实现方法在本博客和之前的博客中都有详细介绍,最后我们开发了一个聊天机器人程序,并对有关产品的问题进行了测试,总的来说机器人的回复还算正确,但偶尔也会产生“幻觉”,并且编造一些根本不存在的产品出来(如苹果的产品)。希望今天的内容能帮助到大家。原创 2023-06-14 22:35:04 · 1024 阅读 · 0 评论 -
使用大型语言模(LLM)构建系统(五):输出结果检查
今天我们学习了如何让LLM来检查自己的输出结果是否正确,输出结果检查一般分为两种:1.有害内容检查。2.回复的内容是否基于特定产品。这是两种非常实用的LLM开发技巧,在各种LLM的应用场景中基本都会用到。也希望你的内容能帮助到大家。原创 2023-06-12 15:57:12 · 907 阅读 · 0 评论 -
使用大型语言模(LLM)构建系统(四):链式提示
今天我们学习了如何通过使用多个提示语来让LLM完成一个复杂的任务,以及如何节约使用LLM的成本,为了节省LLM的使用成本,我们不能把所有的产品信息喂给LLM,而是通过2次查询来获取少量的产品信息,这样有效的减少了token数量。原创 2023-06-09 12:06:22 · 807 阅读 · 0 评论 -
使用大型语言模(LLM)构建系统(三):思维链推理
今天我们学习了如何指导ChatGPT像人类那样形成逻辑推理的思维逻辑,我们让ChatGPT将解决复杂问题的过程拆分成若干个步骤,每个步骤解决一个小问题,且各个步骤存在前后逻辑关系即只有完成了之前的步骤才能执行后面的步骤,当完成了所有的步骤后就可以解决这个复杂问题。最后我们还学习了如何来隐藏ChatGPT的逻辑推理过程。原创 2023-06-06 17:10:17 · 1232 阅读 · 0 评论 -
使用大型语言模(LLM)构建系统(二):内容审核、预防Prompt注入
今天我们学习了如何通过openai的API来实现内容审核,以及如何识别和预防prompt注入,希望这些内容对有志从事ChatGPT应用开发的同学有所帮助。原创 2023-06-04 12:54:07 · 2375 阅读 · 0 评论 -
使用大型语言模(LLM)构建系统(一):分类
今天我们学习了如何让ChatGPT对用户的问题进行分类,以及英文prompt和中文prompt在输出结果上的一些差异,通过恰当的对中文prompt的修改,我们可以让中文prompt的输出结果和英文prompt的输出结果一致。原创 2023-06-03 12:19:32 · 1133 阅读 · 0 评论 -
Openai+Deeplearning.AI: ChatGPT Prompt Engineering(六)
今天我们学习了如果利用ChatGPT开发一个个性化的聊天机器人,让它能代替人类完成某些特定任务,这其中我们需要详细的定义机器的system角色,以避免机器人回答与任务本身无关的问题。我们还介绍了模型参数temperature的功能和作业,比如temperature越大,会使模型的输出结果更有随机性。原创 2023-05-31 18:33:13 · 1471 阅读 · 4 评论 -
大型语言模(LLM)之提示词工程(五)
今天我们学习了如果让ChatGPT来代替人类来回复客户邮件,根据客户邮件的内容做出恰当的回复,如果客户评论是正面的,则回复以表达感谢为主,如果客户评论是负面的,则回复以表达歉意为主。同时我们还学习了通过调整temperature参数来使得chatGPT的回复更具多样性(随机性)。原创 2023-05-29 17:55:50 · 1318 阅读 · 0 评论 -
大型语言模(LLM)之提示词工程(四)
今晚我们学习了如果让大型语言模型LLM实现多语言翻译功能、语言识别、错别字/语法检查、语调转换等功能。希望今天的内容能对大家有所帮助!原创 2023-05-23 18:14:54 · 1656 阅读 · 0 评论 -
大型语言模(LLM) 之 提示词工程(三)
今天我们学习了如何让ChatGPT从文本内容中推断出作者的情绪、识别愤怒情绪、抽取文本实体(如商品和公司名称)、推断主题词、识别主题词等功能,我们还学习了如何让ChatGPT来同时做多个任务。希望这些内容对大家有所帮助!原创 2023-05-22 22:32:31 · 1625 阅读 · 3 评论 -
Openai+Coursera: ChatGPT Prompt Engineering(二)
今天我们介绍了Prompt Engineering 中 让chatgpt创建总结/摘要的方法,以及遇到Rate limit的方法。希望这些介绍对大家有用。原创 2023-05-20 12:19:01 · 3020 阅读 · 0 评论 -
大型语言模型LLM的基础应用
ChatGPT是由人工智能研究实验室在2022年11月30日发布的全新聊天机器人模型,一款技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。用户只需注册一个OpenAI账号和申请一个api_key就可供开发人员使用,并且可以与各种编程语言(如 JavaScript、Python 等)集成。原创 2023-02-02 23:20:09 · 7250 阅读 · 1 评论 -
LangChain与大型语言模型(LLMs)应用基础教程:记忆力组件
今天我们会学习Langchain提供的6种记忆力组件它们分别是:ConversationBufferMemoryConversationBufferWindowMemoryConversationSummaryMemoryConversationSummaryBufferMemoryConversationKGMemoryEntityMemory它们有着各自不能的功能和特点,根据不同的应用场景我们可以选择不同的记忆力组件,当我们开发一个与AI交互的应用程序时选择正确的记忆力组件能够成倍的提原创 2023-04-23 00:22:47 · 4363 阅读 · 1 评论 -
LangChain与大型语言模型(LLMs)应用基础教程:角色定义
在和让大型语言模型(LLM)如ChatGPT等对话时,为了要让LLM能准确回答我们的问题,我们应该在对话之前给LLM设定一个角色,这样当LLM知道自己的角色定位以后,它的回答将会符合自己的角色,而不会天马行空,自由发挥。原创 2023-04-02 21:47:36 · 10097 阅读 · 0 评论 -
LangChain与大型语言模型(LLMs)应用基础教程:信息抽取
今天我们学习了如何利用langchain的chain结合LLM来提取文本信息中的关键内容,然后通过另外一个chain根据这些关键信息给出治疗疾病的建议,最后我们把这两个chain整合为一个更为强大的Chain,它可以自动完成这两份工作。另外我们还介绍了langchain的API Chain,通过让api chain调用第三方提供的API, 我们可以让ChatGPT回答一些以前无法回答的问题。原创 2023-03-31 21:49:13 · 12614 阅读 · 0 评论 -
如何增强大型语言模型LLM的学习能力?
由于当前ChatGPT模型所学习到的知识是截止到2021年,那么当用户向ChatGPT询问2021年以后发生的事情时,ChatGPT往往会给出千奇百怪的错误答案,为了避免这样的问题,我们可以可以利用百度搜索的结果来让ChatGPT学习,从而可以在很大程度上降低ChatGPT给出错误答案的概率。原创 2023-02-21 23:27:05 · 390 阅读 · 0 评论 -
work2vec的实战应用
今天给大家介绍一下word2vec的Skip-Gram模型及其应用,并且简要介绍一下word2vec背后的一些数学原理,在这里我们主要通过python的Gensim库来实现word2vec的实战应用。 word2vec是一种词向量的方法, 它可以让含义相近的词或者紧密关联的一些词具有较高的相似度,举例来说:“法国”与“巴黎” 的相似度要比“法国”与“北京”的相似度要高,这是因为如果一篇文章中出现“巴黎”这个词,那么在这篇文章中出现“法国”这个词的概率要比出现“中国”的概率要高,类似的词语还...原创 2020-06-03 15:48:43 · 2501 阅读 · 0 评论