论文阅读
文章平均质量分 90
xieyan0811
算法工程师,终生学习者,《Python大数据与机器学习实战》作者
展开
-
论文阅读_检索增强生成 RAG 综述
探讨检索增强生成(RAG)作为解决大型语言模型(LLMs)遇到的挑战的有效方法,以提高生成的准确性和可信度,特别是对于知识密集型任务。原创 2024-09-08 14:19:13 · 1314 阅读 · 0 评论 -
论文阅读_字节的语音生成模型_Seed-TTS
提出 Seed-TTS,一种大规模自回归文本转语音模型,主要用于生成几乎无法区分人类语音的语音。原创 2024-07-28 20:47:48 · 647 阅读 · 0 评论 -
阿里开源的音频模型_原理与实操
方法:引入两个创新模型:SenseVoice 处理多语言语音识别、情感识别和音频事件检测;CosyVoice 促进多语言语音生成,具有对多种语言、音色、说话风格和说话人身份的控制。结论:SenseVoice-Small 为 中文、英文、粤语、日文、韩文 5 种语言提供极低延迟的 ASR,性能比 Whisper-small 快 5 倍以上;原创 2024-07-20 14:50:52 · 1771 阅读 · 0 评论 -
论文阅读_大模型优化_YOCO架构
提出名为 YOCO 的 Self Decoder + Cross Decoder 架构。主要用于优化大型语言模型,其特点是只缓存一次键值对。原创 2024-05-19 17:32:42 · 1360 阅读 · 0 评论 -
论文阅读_大模型优化_DeepSeek-V2
DeepSeek-V2 是一个 MoE 语言模型,其特点是经济高效的训练和推理。原创 2024-05-19 17:30:55 · 1745 阅读 · 0 评论 -
为啥现在用大模型这么便宜
这两篇论文都是五月初提交 arxiv 的,实验结果证明,改进 KV 存储后可以解决 GPU 内存的瓶颈问题,从而降低成本。原创 2024-05-19 17:28:36 · 785 阅读 · 0 评论 -
五行命令搭建llama3环境
本文将介绍 ollama+llama3 的最基本的安装和使用方法。只要你的 GPU 和 Docker 环境可用,基本上只需不超过五行的命令就能完成(实际上可能只需要一行)。原创 2024-05-19 17:25:20 · 920 阅读 · 0 评论 -
论文阅读_管理模型的记忆_MemGPT
解决大型语言模型在处理长对话和文档分析等任务时受到有限上下文窗口限制的问题。原创 2024-05-19 17:20:44 · 1168 阅读 · 1 评论 -
论文阅读_使用有向无环图实现流程工程_AgentKit
前几天,和朋友讨论了如何让 Agent 自我构建知识体系,自我进化。刚好看到了这篇论文,作者对 Agent 结构进行了更为深入和丰富的思考,并提出了流程工程,或者思维工程的概念。原创 2024-05-05 16:08:24 · 1122 阅读 · 0 评论 -
论文阅读_RAG融合现有知识树_T-RAG
开发一个可以安全、高效地回答私有企业文档问题的大型语言模型(LLM)应用程序,主要考虑数据安全性、有限的计算资源以及需要健壮的应用程序来正确响应查询。原创 2024-05-05 16:07:10 · 1328 阅读 · 0 评论 -
论文阅读_股票预测强化学习_StockFormer
这里采用了预测编码模型与强化学习的结合方法。原创 2024-04-29 17:41:47 · 1806 阅读 · 3 评论 -
CAMEL:大型语言模型社会的“心智”探索沟通代理
以往的工作流程主要通过人与 LLM 的交互来控制。文中作者使用一个 Agent 来取代人的计划和决策,而另一个 Agent 负责执行具体的操作。原创 2024-04-29 17:39:08 · 1250 阅读 · 0 评论 -
强化学习+大模型_总结篇
将生成和强化学习结合起来是解决这个问题的一种思路,强化学习通过奖励函数直接或间接地为模型提供有监督的判定标准。因此,在大模型中引入强化学习可以提升其判断能力。原创 2024-03-24 11:05:59 · 1193 阅读 · 0 评论 -
大模型+强化学习_通过强化学习对齐大模型和环境
由于知识与环境不一致,通用的大型语言模型(LLMs)经常无法解决简单的决策任务。相反,强化学习(RL)智能体从头开始学习策略,与环境保持一致,但很难结合先验知识进行有效探索。本文旨在结合两个优势。原创 2024-03-23 16:54:36 · 1493 阅读 · 0 评论 -
大模型+强化学习_在线交互调参_GLAM
旨在对齐大型语言模型(LLM)的知识与环境,并研究这种对齐对提高在线强化学习任务的效率以及提升不同形式的泛化的影响。原创 2024-03-23 16:52:27 · 864 阅读 · 0 评论 -
大模型+强化学习_自我对弈偏好优化
提出一种基于模型自我对弈的强化学习算法。原创 2024-03-23 16:50:39 · 1159 阅读 · 0 评论 -
大模型+强化学习_利用AI反馈扩展强化学习_RLAIF
探索使用 RLAIF (RL from AI Feedback (RLAIF) 方法替代 RLHF 方法,以提高大型语言模型与人类偏好的一致性。原创 2024-03-23 16:48:19 · 876 阅读 · 0 评论 -
大模型+强化学习_精典方法_RLHF
为了解决强化学习系统在与真实世界环境交互时需要理解复杂目标的问题。原创 2024-03-23 16:46:59 · 954 阅读 · 0 评论 -
论文阅读_时序模型_iTransformer
解决 Transformer 模型在预测具有大范围回溯窗口的时间序列时性能下降和计算爆炸的问题。原创 2024-03-17 14:59:10 · 1262 阅读 · 0 评论 -
论文阅读_参数微调_P-tuning_v2
作者提出了 P-Tuning,设计了一种连续可微的 virtual token(同 Prefix-Tuning 类似)。将 Prompt 转换为可以学习的 Embedding 层,用 MLP+LSTM 的方式来对 Prompt Embedding 进行处理。原创 2024-03-17 14:53:43 · 1083 阅读 · 0 评论 -
论文阅读_解释大模型_语言模型表示空间和时间
目标:分析模型是只学习字面意思,还是能够学习到更深层次的知识。原创 2024-03-07 20:49:01 · 1145 阅读 · 0 评论 -
论文阅读_世界模型
目标:建立世界模型,学习压缩空间内的时空表示。通过使用从世界模型中提取的特征作为智能体的输入,训练智能体完成具体任务。方法:以无监督的方式快速训练一个非常紧凑和简单的策略,可以解决具体问题。甚至可以完全在它自己的幻觉梦境中训练智能体,并将其中产生的世界模型,应用到实际环境中。结论:通过训练代理,表明使用文中的世界模型可以提高对世界的表征能力。原创 2024-03-07 20:43:38 · 1157 阅读 · 1 评论 -
论文阅读_代码生成模型_CodeLlama
Code Llama 是当前代码生成模型中比较推荐的基础模型。原创 2024-02-29 16:22:01 · 914 阅读 · 2 评论 -
论文阅读_代码生成模型_CodeGeeX
推荐一个 Obsidian 的 ChatGPT 插件原创 2024-02-29 16:17:55 · 755 阅读 · 0 评论 -
论文阅读_语音识别_Wisper
Whisper 是 OPENAI 提供的语音转文字的引擎,它是一个开源工具,在自己的 GPU 机器上也能搭建。Wisper 是一个多语音识别引擎,简单用过,感觉对中文识别还是很好的。下面介绍 Whisper 的实现原理。原创 2024-02-17 16:55:30 · 1270 阅读 · 0 评论 -
论文阅读_用模型模拟记忆过程
作者试图用深度学习模型来模拟人的记忆过程。原创 2024-02-17 16:54:32 · 1093 阅读 · 0 评论 -
Science重磅_让大模型像婴儿一样学习语言
作者主要研究了人在婴儿期如何学习关联视觉和语言。原创 2024-02-13 15:53:28 · 1000 阅读 · 0 评论 -
语音方向精典论文品读_HuBERT
HuBERT 是一篇偏向底层技术的语音领域的精典论文。作者并没有针对具体的语音识别或语音转换的任务优化,HuBERT 研究成果却成为这些应用的基础。原创 2024-01-25 16:12:03 · 992 阅读 · 0 评论 -
论文阅读_CogTree_推理的认知树
文中提出了反思树 CogTree,希望通过对小模型的微调和一些附加技巧,替代大模型的推理能力。原创 2024-01-20 16:57:39 · 1333 阅读 · 1 评论 -
论文阅读_训练大模型用于角色扮演
论文的目标是使用模型来模拟具体的人物角色原创 2024-01-20 16:34:57 · 1682 阅读 · 0 评论 -
论文阅读_反思模型_Reflexion
论文提出了 Reflexion 框架 ,通过语言反馈而不是更新权重来强化语言代理。原创 2023-12-10 16:20:26 · 1954 阅读 · 0 评论 -
论文阅读_AI生成检测_Ghostbuster
文中提出了 Ghostbuster,一种用于检测 AI 生成文本的最先进系统。原创 2023-12-01 20:14:06 · 1522 阅读 · 0 评论 -
论文阅读_生成式Agent
论文建立了一个有 25 个机器人 (代理) 的虚拟小镇(沙箱环境),用户可以观察和干预代理的计划、分享新闻、建立关系和协调团体活动。用 GPT 工具模拟人类行为:起床,做早餐,去上班;作画,写作;形成意见、互相关注并发起对话;反思过去计划未来。文中描述了一种架构,通过扩展大语言模型使用自然语言存储智能体的完整经历记录,随着时间的推移将这些记忆综合成更高层次的反思,并动态地检索它们以规划行为。原创 2023-11-25 16:23:33 · 1443 阅读 · 0 评论 -
论文阅读_LMM 的黎明_GPT4_4V
GPT-4V 是基于 SOTA LLM 并使用大量多模态数据训练的最先进的具有视觉能力的 LMM。原创 2023-10-04 13:39:26 · 687 阅读 · 0 评论 -
论文阅读_扩散模型_DDPM
论文优化了扩散模型的具体实现,并证明了扩散模型可生成高质量的图像。具体方法是结合扩散概率模型和朗之万动力学去噪的加权变分训练模型。原创 2023-09-02 17:46:13 · 1170 阅读 · 1 评论 -
论文阅读_扩散模型_DM
论文目标是建立**灵活且易用**的**数据生成模型**。它利用非平衡统计物理学原理:通过扩散过程(少量加噪)系统地、缓慢地破坏数据分布中的结构;然后,学习反向扩散过程,恢复数据结构。原创 2023-09-02 17:45:15 · 664 阅读 · 0 评论 -
论文阅读_变分自编码器_VAE
变分自编码器是自编码器的改进版。原创 2023-09-01 21:46:24 · 900 阅读 · 0 评论 -
论文阅读_医疗知识图谱_GraphCare
文章主要针对的问题是:如何结合 患者情况 与 医疗知识 做出医疗预测。原创 2023-08-31 03:21:41 · 1206 阅读 · 0 评论 -
论文阅读_扩散模型_SDXL
SD 是语言引导的扩散模型。SDXL 是 2023年7月 Stable Diffusion 新发的大模型框架,它是潜在扩散模型(LDM)扩展。其主要效果是:加强了画面细腻度,优化了构图,以及对语言的理解能力。原创 2023-08-29 17:03:46 · 941 阅读 · 0 评论 -
论文阅读_扩散模型_LDM
Latent Diffusion Models (LDMs)基于潜空间的扩散模型,是目前主流的基础模型,Stable diffusion 就是基于 LDMs 原理工作的。原创 2023-08-28 20:00:35 · 1975 阅读 · 0 评论