- 博客(626)
- 收藏
- 关注
RSS订阅
原创 从DeepSeek 的爆火看 AI，应用的新范式和大模型从业者的未来
鲁为民博士清华学士，加州理工学院博士中国人工智能最高奖“吴文俊人工智能科学技术奖”2023年获得者刘井平博士华东理工大学副教授复旦大学博士多项研究成果在美团、淘宝、蚂蚁金服、华为等公司进行落地胡箐金智维首席科学家前Meta 旗下LLaMA大模型初创团队核心成员之一前微软技术部门负责人，Exchange online、Azure AI 等产品线研发负责人20年的AI技术研发与应用经验时间：2月22日星期六面向受众：大模型及AI技术人员和爱好者和企业技术主管等。
2025-02-21 16:00:14
479
原创 支持5000+ Server，ScaleMCP为大模型Agents动态同步MCP工具
模型上下文协议（**MCP**）极大地提升了LLM Agents与外部工具和API动态交互的能力。现有的工具选择框架并未整合MCP服务器，**而是严重依赖容易出错的手动更新**，来维护本地的单体工具库，这导致了重复、不一致和低效的问题。此外，当前的方法在调用LLM代理之前就对工具选择进行了抽象化，限制了代理的自主性，并阻碍了在**多轮交互过程中动态重新查询的能力。
2025-05-20 09:29:23
864
原创 4大AI智能体平台深度对比：Dify、Coze、AutoGen、LangChain，哪款更适合你？
AI智能体（AI Agent）近年来发展迅猛，展现出广阔的应用前景和巨大的商业潜力。不少优秀企业也都推出了自己的AI智能平台，每一家都各具特色，可满足不同用户的需求。
2025-05-19 09:31:27
984
原创 AI智能体在测试自动化中的作用
当AI不再仅仅是回答你的问题，而是能够主动采取行动并自主行事时，会发生什么呢？AI智能体正在改变在无需人工干预情况下人工智能所能做到的事情。
2025-05-16 16:01:38
1014
原创 Transformer | 一文带你了解Embedding（从传统嵌入方法到大模型Embedding）
Embedding是 LLM 的语义支柱，它可以将原始文本转换为向量形式来方便模型理解**。当你在使用 LLM 帮助您调试代码时，你的输入文本、代码会被转换为高维向量，从而将其中的语义转化成数学关系。
2025-05-16 14:34:32
816
原创 【AI开发】大模型训练技术简介
在人工智能蓬勃发展的当下，大语言模型（LLM）成为了众多应用的核心驱动力。从智能聊天机器人到复杂的内容生成系统，LLM 的卓越表现令人瞩目。而这背后，大模型的训练过程充满了奥秘。本文将深入探讨 LLM 训练的各个方面，带您揭开其神秘面纱
2025-05-15 09:29:06
944
原创 MCP不像想象的那么简单，MCP+数据库，rag之外的另一种解决方案
MCP于2024年11月25日由Anthropic官方正式提出，在24年2月份cursor添加mcp功能支持的时候，才一下子被广大开发人员面前。3月份的时候，又看到各种推文，当时就想不就是一个协议么？你这个协议又没有经过各方的认可，无非就是在多了一层标准化。不同公司的标准又不一样，就是多写两行代码的事。随着阿里的入局，我才开始重视，然后国内很多公司都开始支持MCP了。
2025-05-14 11:44:33
902
原创 我的RAG开源项目300+star了，十分适合新手入门（日志级详细拆解）
三个月前，我在 Github 上开源的一个 RAG 练手项目，目前已经有了 327 个 star，总共解决了 22 个 issues。结合过去几个月的项目实践，我重新对项目做了轻量化重构，降低资源消耗与部署门槛。
2025-05-14 10:43:46
989
原创 图像也能通过 RAG 加入知识库啦
我们知道，检索增强生成 RAG 通过整合外部知识库与生成模型，有效缓解了大模型在专业领域的知识局限性。传统的知识库以文本为主，通常依赖于纯文本嵌入来实现语义搜索和内容检索。
2025-05-13 09:28:34
732
原创 AI大模型微调入门基础教程（非常详细），AI大模型微调入门到精通，收藏这一篇就够了！
- 介绍了大模型训练的微调方法，包括prompt tuning、prefix tuning、LoRA、p-tuning和AdaLoRA等。- 介绍了使用deepspeed和LoRA进行大模型训练的相关代码。- 给出了petals的介绍，它可以将模型划分为多个块，每个用户的机器负责其中一块，分摊了计算压力。
2025-05-12 22:04:27
549
原创 这个国产开源RAG项目ChatWiki厉害了，可以搭建企业级AI知识库和微信机器人
ChatWiki是一款国产开源的知识库 AI 问答系统**。系统基于大语言模型（LLM ）和检索增强生成（RAG）和GraphRAG知识图谱构建，提供开箱即用的数据处理、模型调用等能力。
2025-05-12 20:29:46
966
原创 提示工程，被谷歌这份69页白皮书彻底讲明白了（附原文+拆解）
最近谷歌发布了一份 **69** 页的白皮书，名字很普通：《Prompt Engineering》。但看这个页数，你就知道，不简单。
2025-05-10 09:26:06
903
原创 一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】
2025-05-08 11:02:17
670
原创 医疗大模型微调入门基础教程（非常详细），医疗大模型微调入门到精通，收藏这一篇就够了！
为了维护顾客的信任感，销售人员会采用诸如“帮您查询最新的会员优惠信息”这样的措辞来解释他们的操作，从而降低了顾客的防备心理，并增强了顾客与销售人员之间的互动质量。同时借鉴了ColBERT的思想，当需要更高粒度的嵌入时，对文档和查询中的每个标记使用受上下文影响的嵌入，以获得精细的查询-文档相似性分数。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
2025-05-07 10:21:54
910
原创 NVIDIA发布最强开源模型，效果和速度全面超越DeepSeek R1
NVIDIA最新推出的Llama-Nemotron系列，堪称开源界的“最强大脑”。这个模型家族不仅能解答博士级数理难题，还能像老司机一样根据需求切换“省电模式”和“烧脑模式”。论文：Llama-Nemotron: Efficient Reasoning Models链接：https://arxiv.org/pdf/2505.00949最劲爆的是，旗舰款LN-Ultra（2530亿参数）在权威测评中碾压DeepSeek-R1等顶尖模型，但运行效率反而更高——就像用五菱宏光的油耗开出了法拉利的速度！
2025-05-06 19:40:38
932
原创 RAG检索系统的两大核心利器——Embedding模型和Rerank模型
在RAG系统中，有两个非常重要的模型一个是Embedding模型，另一个则是Rerank模型；这两个模型在RAG中扮演着重要角色。Embedding模型的作用是把数据向量化，通过降维的方式，使得可以通过欧式距离，余弦函数等计算向量之间的相似度，以此来进行相似度检索。而Rerank的作用是在Embedding检索的基础之上，进行更加准确的数据筛选；如果说Embedding模型进行的是一维筛选，那么Rerank模型就是从多个维度进行筛选。Embedding模型和Rerank模型。
2025-05-05 19:59:43
1021
原创 【AI-智算】DeepSeek-R1 满血版推理集群优化 & H100
性能提升：优化后在低并发（1-64个请求）时，TTFT、TPOT和E2E Latency均有小幅降低（约5%-10%），TPS略有提升。中高并发（128-256）时，TPS峰值提升约32%（1155.78 vs 1533.08），延迟增长受控。并发承载能力：优化后系统对高并发的适应性增强，512个请求时的性能下降幅度减小（TPS从1025.71降至743.02，下降约28%，而优化前无明显峰值）
2025-04-30 20:13:09
983
原创 Nature Medicine综述:AI药物研发最新进展
特性的有价值的工具。例如，拜耳的计算机模拟ADMET平台使用随机森林和支持向量机等机器学习技术，并使用环状扩展连接指纹等描述符，以确保准确性和相关性。过去几十年中，已经开发了用于ADMET预测的各种描述符。然而，这些基于特征的方法中涉及的特征工程仍然复杂，并限制了通用性和灵活性。深度学习现在推动着ADMET预测，从简单的输入数据中自动提取有意义的特征。
2025-04-29 20:07:37
1301
原创 RAKG|文档级检索增强知识图谱构建
的本体框架与模式约束，实现了有限领域的高精度知识抽取，但其高昂的维护成本与僵化的知识表示方式难以应对开放域文本的动态性与语义多样性。近年来，深度学习技术的突破为自动化知识图谱构建注入了新动力。在命名实体识别（Named Entity Recognition，NER）领域，研究范式经历了从规则驱动到数据驱动的转变。
2025-04-28 20:05:47
900
原创 本地部署+微调堪比满血deepseek-r1的qwq-32b
通义千问开源了推理模型QwQ-32BQwQ-32B 在一系列基准测试中进行了评估，测试了数学推理、编程能力和通用能力。以下结果展示了 QwQ-32B 与其他领先模型的性能对比，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。
2025-04-27 14:29:12
937
原创 一篇142页全面复盘DeepSeek R1思考推理技术综述
传统的LLMs通常直接输出答案，而大型推理模型（LRMs）如DeepSeek-R1则通过生成详细的多步骤推理链条来解决问题。这种推理过程对用户是透明的，为研究模型的推理行为提供了机会。
2025-04-27 10:50:03
668
原创 清华提出Test-Time RL，无需标注，模型自学，正确率飙升159%，实现终身学习
AI自我进化，无需人工标注的强化学习来了！过去，训练模型就像教小孩做题——必须提前准备好标准答案（标注数据）。但现实中，许多任务根本没有现成答案，比如解一道全新的奥数题。如何让AI在没有答案的情况下自我提升？这篇论文提出的TTRL（Test-Time强化学习） 给出了答案：让AI自己生成答案，通过“投票”选出共识，再用共识作为奖励信号驱动学习。简单来说，就是让AI“自己出题、自己批改、自己进步”。TTRL的核心流程——模型生成多个答案，投票选出最佳，再根据投票结果优化自身面对一个问题（比如数学题），LLM先
2025-04-24 09:52:12
393
原创 一文搞懂RAG构建知识库和知识图谱
RAG结合了信息检索与生成模型，通过以下三阶段工作：****检索：从外部知识库（如文档、数据库）中搜索与问题相关的信息。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。那么你还想往下探索吗？
2025-04-23 20:10:41
1101
原创 北航等机构发布最新综述：大语言模型集成（LLM Ensemble）
我们在论文中对7类LLM Ensemble方法进行了总结性分析。如图5所示，分析主要从三个核心维度展开：集成策略、集成粒度和集成目标。从。
2025-04-22 10:39:44
898
原创 【综述：入门必读】RAG演变到MRAG的三个阶段
生成方面为了解决上述问题，MRAG2.0 通过文档解析和索引保留多模态数据，同时引入了多模态检索和多模态大语言模型进行答案生成，真正进入了多模态时代。通过利用多模态大语言模型 (MLLM) 的能力，生成模块现在可以直接处理多模态数据，最大限度地减少数据转换过程中的信息丢失。主要有以下三个优化点：MRAG3.0在结构和功能上做了如下创新：文档解析和索引生成阶段多模态搜索规划问答场景中的多模态输出可以分为三种不同的类型。
2025-04-21 20:00:21
375
原创 浙大联合小红书发布大模型翻译最新研究成果：MT-R1-Zero，强化学习驱动机器翻译新范式！
目前，大模型推理领域的强化学习（如R1-Zero）主要面向数学和代码等任务，将其应用于开放式自然语言生成任务（如，机器翻译），面临着奖励设计困难、推理能力诱导不确定、泛化能力待验证等诸多未知的挑战。针对这些难题，我们提出了MT-R1-Zero，首次将R1-Zero范式成功扩展到机器翻译领域的实现。该方法无需监督微调或依赖思维链（CoT）等冷启动数据，仅通过对最终翻译结果度量反馈，进行端到端强化学习优化。
2025-04-18 19:41:16
697
原创 一文搞懂大模型可视化（Open WebUI）
Open WebUI 是一个开源的、可扩展且用户友好的自托管 AI 平台***，*专为生成式人工智能模型交互而设计*。****旨在为用户*提供一个简单易用、功能强大且高度定制化的界面*，使其能够轻松与各种 AI 模型（如文本生成、图像生成、语音识别等）进行交互。**
2025-04-17 19:57:51
664
原创 RAG优化策略总结
数据处理阶段：对原始数据进行清洗和处理，然后将处理后的数据转化为检索模型可以使用的格式，最后存储在对应的数据库中。检索阶段：将用户的问题输入到检索系统中，从数据库中检索相关信息。增强阶段：对检索到的信息进行处理和增强，以便生成模型可以更好地理解和使用。生成阶段：将增强后的信息输入到生成模型中，生成模型根据这些信息生成答案。
2025-04-16 20:10:11
890
原创 一文搞懂大模型推理（FastAPI）
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
2025-04-15 11:33:44
814
原创 RAG技术演进的四大核心命题
随着技术的深入应用，如何高效利用大模型技术优化用户体验，同时应对其带来的诸多挑战？本文将从RAG的发展趋势、技术挑战、核心举措以及未来展望四个维度总结我们应对挑战的新的思路和方法。一、背景自2022年11月30日OpenAI发布ChatGPT-3.5以来，预训练大模型技术开启了指数级发展进程。这一革新热潮在2023年3月至4月达到阶段性高峰：阿里通义千问和百度文心一言等国内头部企业相继发布自主训练的大模型，正式宣告人工智能领域迈入大模型驱动的新纪元。
2025-04-14 20:03:39
873
原创 大白话解释Token：更多Token=更强AI？为何要用Token结算？
在自然语言处理（NLP）和大语言模型（如GPT系列）中，Token是文本的最小单位。你可以把Token看作是语言的“积木”或“像素”。就像搭积木一样，模型通过组合这些Token来构建句子、段落甚至整篇文章。举个例子：👉英文句子：“I love learning.” 可能被拆分为三个Token：“I”，“love”，“learning”。👉中文句子：“我喜欢学习。”可能被拆分为三个Token：“我”，“喜欢”，“学习”。
2025-04-12 19:31:34
980
原创 【NeurIPS2024】跨域知识蒸馏登顶会啦！
论文地址：https://papers.nips.cc/paper_files/paper/2024/hash/5424f6b74f475ad738b54888d609283a-Abstract-Conference.html代码地址：https://github.com/xuqing88/Reinforced-Cross-Domain-Knowledge-Distillation-on-Time-Series-Data。
2025-04-11 15:09:03
942
原创 64张图，看懂AI Agent的核心技术与未来
要理解LLM Agents，让我们首先探索LLM的基本能力。传统上，LLM所做的仅仅是下一个token的预测。通过连续采样多个token，我们可以模拟对话，并使用LLM为我们的查询提供更全面的答案。然而，当我们继续对话时，任何LLM都会展示其主要缺点之一：它不记得对话内容！LLM在执行许多其他任务时也常常失败，包括基本的数学运算，如乘法和除法：这是否意味着LLM很垃圾？当然不是！LLM无需具备所有能力，因为我们可以通过外部工具、记忆和检索系统来弥补其缺点。通过外部系统，LLM的能力可以得到增强。
2025-04-10 09:49:34
594
原创 知识图谱+知识库RAG项目Yuxi-Know及大模型推理内部可视化工具OpenMAV实现拆解
之前有比如Bertvis项目，对每一层的推理进行可视化，所以类似的工具轮子也越来越多，如最近又多了个可视化大模型内部运作的开源工具OpenMAV()，基于Python的工具，旨在在文本生成过程中实时可视化大语言模型（LLM）的内部工作原理。该工具通过交互式的基于终端的界面，为用户提供对模型内部结构的洞察。通过交互式终端界面，可实时可视化LLM在生成文本时的内部状态，包括注意力分布、MLP激活值和Token预测概率等，可通过插件轻松扩展可视化功能，并支持多种模型，如 GPT-2、Llama等。
2025-04-09 11:33:08
687
原创 LLM架构的演进之路：从Transformer到Mamba再到Transformer与Mamba的融合
本文将系统分析LLM所采用的Transformer与Mamba架构各自的优势、Mamba是如何解决Transformer架构存在的问题的，并解释当前出现的、融合两者架构的趋势和原因。
2025-04-08 11:30:36
691
原创 一文搞懂DeepSeek的技术演进之路：大语言模型、视觉语言理解、多模态统一模型
在2024年1月前后的时间，基于解码器的Transformer大型语言模型（LLMs）的发展迅速，成为实现人工智能（AGI）的重要途径。尽管闭源产品如ChatGPT、Claude和Bard在计算资源和标注成本上具有优势，但开源LLMs的性能仍需提升。本项目主要探索模型的缩放定律（scaling laws），并在两个广泛使用的模型配置**（7B和67B）上进行扩展。通过预训练、监督微调（***SFT***）和直接偏好优化（DPO）**，提升模型在代码、数学和推理等领域的性能。DeepSeek LLM 67B在
2025-04-08 10:34:46
656
原创 AI提示词和提示词工程有什么区别、以及案例展示
提示词是直接输入到A大I模型中的问题、请求或指示，它用来引导模型的输出。而且它可以是一个非常简单的指令，比如“请帮我总结这篇文章的主要观点”，或者更复杂的任务，比如“请帮我设计一个包含多个步骤和条件的复杂任务”。提示词是与AI系统交互的具体指令，用来触发模型的回应并影响输出结果。
2025-04-07 21:17:00
853
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人