一夜了
研究对话,LLM,多模态算法。
展开
-
对话机器人-检索与生成模型
综述从应用的角度来说,对话机器人可以分为三个类别,分别是闲聊机器人,qa机器人以及任务型机器人。本系列主要介绍闲聊机器人。由于本文的内容主要是对对话机器人做一个简单的介绍,所以都是一些简单的介绍,详细的内容后面后有介绍。一 QA机器人问答机器人主要功能是在知识库找到用户提问的问题的答案。主要用于智能客服等。一般来说问答机器人是不涉及多轮,主要是针对某一个领域的问答。构建一个问答...原创 2019-12-17 22:47:54 · 36529 阅读 · 49 评论 -
多模态大模型 - LLaVA系列模型
本文主要介绍了LLaVA系列的多模态大模型,详细的介绍了每个版本的优化思路及方法。原创 2024-07-08 15:58:57 · 1083 阅读 · 1 评论 -
强化学习之Q-learning算法
本文主要介绍强化学习之Q-learning算法,如果喜欢的话可以多读读。原创 2023-05-25 09:00:00 · 1082 阅读 · 0 评论 -
强化学习系列之Policy Gradient算法
自chatgpt出来之后,SFT+RM+RL就成为了对话模型的主流技术,本系列主要介绍强化学习相关的技术。原创 2023-05-23 19:59:46 · 970 阅读 · 1 评论 -
一文了解预训练相关加速技巧
大模型训练效率技巧总结, 包括数据并行, 模型并行, 流水线并行, ZeRO等技术, 以及megatron, deepspeed, oneflow等框架的介绍.原创 2021-12-01 16:46:39 · 14298 阅读 · 18 评论 -
位置编码 - 领略位置编码神奇的风景 - 系列(1)
位置编码 - 领略位置编码神奇的风景 - 系列(1)前文自从attention在nlp流行之后,不管是在bert还是在transformer,都缺少不了位置编码的身影(position embedding)。主要原因是attention在计算的时候,不管是QK之间的点乘运算,还是attention scores与V之间的点乘运算在训练时都是并行计算的,从逻辑上来说,跟RNN不一样,attention处理时并没有先后之分。当一个句子中出现多个相同的token时,从语义上来说,同一个t原创 2021-08-26 20:13:16 · 13100 阅读 · 72 评论 -
一文让你了解生成模型相关的解码Tricks
一文让你了解生成模型相关的解码Tricks本文是笔者花费闲暇时间根据工作经历以及阅读文献总结的,如果对于屏幕前的隔着读者有些许帮助,真是欣慰之至。当然,各位读者的支持也是笔者写作的动力。麻烦一键三连。点赞,评论,收藏。在生成模型中,解码是一个很重要的步骤,直接影响到生成回复质量的高低,所以除了一些解码策略可以使用之外,在解码策略之中,可以穿插使用一些tricks,通过这些tricks的使用,可以解决一些在解码策略中出现的问题,例如解码出现“UNK”字符,解码长度过短等问题。这些trick原创 2021-08-06 16:21:32 · 14855 阅读 · 64 评论 -
生成模型-解码策略小结
解码方法小结本文是笔者花费闲暇时间根据工作经历以及阅读文献总结的,如果对于屏幕前的隔着读者有些许帮助,真是欣慰之至。当然,各位读者的支持也是笔者写作的动力。麻烦一键三连。点赞,评论,收藏。1. 简介在对话生成任务中,解码策略有自回归与非自回归两种方法。其中自回归的解码策略包括了greedy,beam search,top-k以及top p等方法。每种方法都有自己的优缺点。本文主要是针对上面的解码策略做个汇总,以便读者以及笔者后续查看。在自回归的解码方法,主要是在inference阶段,原创 2021-04-15 16:42:02 · 23053 阅读 · 6 评论 -
最详尽版本:一文带你了解beam search算法
目录文章目录目录Beam Search算法1. 简介2. 算法细节3. 具体实现4.算法优化Beam Search算法1. 简介在对话生成任务中,解码策略有自回归与非自回归两种方法。其中自回归的解码策略包括了greedy,beam search,top-k以及top p等方法。每种方法都有自己的优缺点。本文主要针对beam search方法做详细的介绍。其它相关的解码策略后面会有相应的文章进行介绍,这里就不多做说明。在自回归的解码方法,主要是在inference阶段,输入query,然后原创 2021-04-12 23:24:34 · 24306 阅读 · 4 评论 -
transformer具体介绍-威力加强版
目录文章目录目录Transformer模型介绍1. 简介1.1 模型结构图1.2 概括2. 具体模块2.1 Inputs2.2 Encoder2.3 Decoder3. 示例说明3.1 具体示例3.2 模型训练3.3 inference阶段Transformer模型介绍1. 简介1.1 模型结构图本文主要介绍了transformer模型,尽力做到对transformer的模型的结构与代码面面俱到,让读者能够通过阅读本文对transformer总体结果与实现细节方面都能够有清晰的认识。当然,做到上原创 2021-04-07 22:13:15 · 22849 阅读 · 7 评论 -
nlp相关会议总结
相关nlp会议的总结A类:ACL(ACL) Meeting of the Association for Computational Linguistics 下载地址:https://link.zhihu.com/?target=http%3A//www.aclweb.org/anthology-new/IJCAI(AAAI) International Joint Conference on Artificial Intelligence 国际人工智能联合会议两年一次,奇数年份举办 IJ原创 2020-06-23 20:33:07 · 32518 阅读 · 0 评论 -
chatbot-检索式模型介绍(四)
检索式模型介绍(四)这个系列的文章主要是介绍一些可以作为文本匹配工作的一些模型,有些是比较基础的算法,例如bm25。有些模型是基于深度学习的架构,比如说deepMatch模型。个人认为文本匹配的任务有两种实现方式,一个是学习不同domain中text的represation,然后利用represation计算score,这个的score可以是相似度(cosine,欧式距离等)。...原创 2020-04-19 15:46:53 · 34327 阅读 · 0 评论 -
Chatbot-检索式模型介绍(三)
检索式模型介绍(三)这个系列的文章主要是介绍一些可以作为文本匹配工作的一些模型,有些是比较基础的算法,例如bm25。有些模型是基于深度学习的架构,比如说deepMatch模型。个人认为文本匹配的任务有两种实现方式,一个是学习不同domain中text的represation,然后利用represation计算score,这个的score可以是相似度(cosine,欧式距离等)。...原创 2020-01-19 16:28:23 · 35463 阅读 · 0 评论 -
Chatbot-检索式模型介绍(二)
检索式模型介绍(二)这个系列的文章主要是介绍一些可以作为文本匹配工作的一些模型,有些是比较基础的算法,例如bm25。有些模型是基于深度学习的架构,比如说deepMatch模型。个人认为文本匹配的任务有两种实现方式,一个是学习不同domain中text的represation,然后利用represation计算score,这个的score可以是相似度(cosine,欧式距离等)。...原创 2020-01-15 20:46:29 · 36104 阅读 · 0 评论 -
Chatbot-检索式模型介绍(一)
检索式模型介绍(一)这个系列的文章主要是介绍一些可以作为文本匹配工作的一些模型,有些是比较基础的算法,例如bm25。有些模型是基于深度学习的架构,比如说deepMatch模型。个人认为文本匹配的任务有两种实现方式,一个是学习不同domain中text的represation,然后利用represation计算score,这个的score可以是相似度(cosine,欧式距离等)。...原创 2020-01-08 20:34:48 · 33753 阅读 · 0 评论