- 博客(1627)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 深入解析大型应用架构：以dify为例进行分析
Dify 是一款开源的大语言模型（LLM）应用开发平台，旨在简化和加速生成式 AI 应用的创建和部署。它融合了后端即服务（Backend as a Service, BaaS）和 LLMOps 的理念，使开发者能够快速搭建生产级的生成式 AI 应用。即使是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。。让我们开始看代码吧（先摸清楚代码的“骨骼”）
2025-04-04 14:11:32
1185
原创 深入解读大模型开发工具Dify--底层数据存储
dify在使用pg时，使用了两个库dify与dify_plugin。多类型数据库协同：Dify 采用了 PostgreSQL、Redis、文件存储和向量数据库的多层次存储架构，实现了数据的高效管理与快速访问。数据隔离与安全：通过 dify 和 dify_plugin 两个独立数据库的设计，确保了核心数据与插件数据的有效隔离，提升了系统的安全性。灵活部署配置：支持 Docker 部署和源码部署两种模式，通过环境变量配置数据库连接信息，提供了高度的部署灵活性。性能优化机制。
2025-04-04 14:04:55
690
原创 pollinations 一个免费文生图、声音、文网站
我们只需要找到一个可以直接访问 url 就能生成图片的 AI 服务即可。以文章开头中的提示词为例，如果要使用文生图的功能，Pollinations 提供了。地址，description 就是需要填充的提示词。同理，如果还有一些其他类似的 AI，也可以这样搞。效果还不错，就是图片渲染出来需要等一会会儿时间。接下来我们再看下上述提示词中所使用到的——我们来测试一下：画一个日出时分的森林。感兴趣的小伙伴快去试试吧～
2025-04-02 17:34:57
763
原创 任务型多轮对话（二）| 意图识别
在任务型多轮对话中，意图识别是一个关键的环节。意图识别是指从用户输入的对话内容（如文本、语音等形式）中分析并判断出用户的目的或者意图。例如，在一个智能客服对话系统中，用户输入“我想要查询一下我的订单状态”，系统通过意图识别就能判断出用户的意图是查询订单状态。它能够帮助对话系统理解用户想要做什么，从而决定对话的走向。如果系统正确识别了用户是要查询订单状态，就可以引导用户提供订单相关的信息，如订单号等，以便完成查询任务。准确的意图识别可以避免系统对用户的回答驴唇不对马嘴。
2025-03-21 18:01:23
703
原创 Predibase发布端到端强化微调平台RFT
为了展示RFT的强大能力，Predibase基于某知名开源模型Qwen2.5-Coder-32B-instruct，微调出了一款专门用于将PyTorch代码翻译为Triton代码的新模型Predibase-T2T-32B-RFT。与传统监督式微调方法不同，Predibase-T2T-32B-RFT利用RFT以交互方式调整模型行为，仅需少量标注数据即可显著优化下游任务的表现，成为专有大语言模型的一种高性价比、高性能替代方案。基于这一启发，Predibase团队设计并实现了一个端到端无服务器的强化微调平台。
2025-03-21 10:52:10
331
原创 微调数据集开源项目Easy DataSet ！
原文：微调数据集太难搞？我直接手搓一个开源项目！微调模型想加餐 文献堆成五指山 传统方法泪两行 AI生成总截断 重复问题脑壳瘫 - 掘金如何将领域文献转换为可供模型微调的数据集？大家好，我是 ConardLi本文为：想微调特定领域的 DeepSeek，数据集究竟要怎么搞？ 对应的第一个实战章节，通过今天的文章，将带大家学习：很多情况下，如果你只是需要通过微调来提升模型某一方面的能力，在没有特殊的内部数据要求的情况下，是没必要自己去构造数据集的，因为目前互联网上存在着大量的公开且免费使用的数据集，下面就带大家
2025-03-19 07:35:38
1306
原创 学习笔记：利用OpenAI实现阅卷智能体
区别技术特征：区别于最接近的现有技术的技术特征（2.5分）；'reply': '共有技术特征：与所对比的技术方案相同的技术特征\n区别技术特征：与所对比的技术方案相区别的技术特征\n附加技术特征：对引用的技术特征进一步限定的技术特征\n必要技术特征：解决技术问题必须可少的技术特征','reply': '共有技术特征：与所对比的技术方案相同的技术特征\n区别技术特征：与所对比的技术方案相区别的技术特征\n附加技术特征：对引用的技术特征进一步限定的技术特征\n必要技术特征：解决技术问题必须可少的技术特征'
2025-03-09 18:30:05
988
原创 手把手教你三步极速蒸馏DeepSeek R1，效果媲美OpenAI o3 mini！
在今年1月末，DeepSeek再度抛出了一个重磅消息：“蒸馏小模型超越OpenAI o1-mini”。按官方公布数据，通过DeepSeek-R1的输出，蒸馏了6个小模型开源给社区，其中32B和70B模型在多项任务上表现与OpenAI o1-mini相当。要知道，蒸馏过程不需要对模型架构进行复杂修改，减少了开发成本，并且比从头训练一个同规模的模型要节省大量的计算资源。如今，
2025-03-09 13:05:11
637
原创 手把手教你三步极速蒸馏DeepSeek R1，效果媲美OpenAI o3 mini！
手把手教你三步极速蒸馏DeepSeek R1，效果媲美OpenAI o3 mini！摘要•帮你速读文章内容DeepSeek蒸馏小模型媲美OpenAI，通过百度智能云千帆ModelBuilder，3小时低成本将DeepSeek-R1知识蒸馏至轻量级模型，性能大幅提升，训练成本最低900元，助力企业优化AI模型性能。摘要由作者通过智能技术生成在今年1月末，DeepSeek再度抛出了一个重磅消息：“蒸馏小模型超越OpenAI o1-mini”。
2025-03-04 22:00:11
894
原创 大模型数据蒸馏实战
大模型数据蒸馏通过将大模型的知识转移到小模型，实现模型压缩、加速推理和降低成本等目标。主要步骤包括选择模型、准备数据、生成软标签和训练学生模型。
2025-03-04 16:42:56
408
1
原创 基于Django的网络自动化平台实战宝典（三）-零HTML写一个酷炫的管理后台
它的值是一个列表，列表的每个成员是一个元组，每个元组表示一块聚合了众多字段的一个区域，第一个成员是这个区域的摘要信息，或者是这几个字段的摘要信息，比如我们的第一个区域是基本信息，包含id、ip、name字段，第二个成员是当前区域集合了的字段，其值是一个字典，我们重点关注字典的fields即可，其值为一个列表，成员是每行展示的字段，如果我们想一行展示多个，将多个字段先放到元组中，再添加到这个列表中即可。重启服务后，我们登陆之前的后台管理界面，会发现多了一个Device的管理菜单，在cmdb APP分类底下。
2025-03-01 08:54:00
637
原创 OpenAI 和 LiveKit 合作将高级语音转变为 API
近日， LiveKit 与 OpenAI 建立合作伙伴关系，提供可以使用与 ChatGPT 的新高级语音（Advanced Voice）功能相同的端到端技术来构建自己的应用程序。Python 和 Node 中提供的新型多模式代理 API 旨在完全包装 OpenAI 的实时 API，抽象出原始线路协议，并为 GPT-4o 提供干净的“直通”接口。LiveKit 是简化 WebRTC的开源基础设施，而LiveKit Cloud是一个全球服务器网络，经过优化，可以大规模、可靠地传输音频并实现尽可能低的延迟。
2025-01-23 17:31:11
736
原创 一文复盘：RAG技术-大模型
RAPTOR 通过递归聚类和总结文本构建层次化的树结构，支持在不同抽象层次上的检索，结合广泛主题和具体细节。它在复杂问答任务中表现优于传统方法，提供树遍历和折叠树方法，以实现高效的信息检索。
2024-12-29 23:45:01
1279
原创 阿里云 AI 搜索 RAG 大模型优化实践
第三种方案，也就是我们采用的 RAG 方法，它不改变大模型本身，而是通过检索领域知识，然后结合问题和检索到的知识，用大模型生成答案。此外，由于它不是直接生成答案，而是基于搜索结果，所以可以提供生成答案的依据，解决了可溯源的问题。第一个例子是，当用户询问如何修改云盘的 UUID 时，搜索回来的结果可能是“修改云盘的 UUID 步骤如下”，但接下来的步骤可能被切到了下一个切片。然而，我们发现许多客户的数据中，不同层级的标题可能使用了相同的字号，这就需要我们在数据中进行层级的合并和构造，以模拟客户的实际数据。
2024-12-29 23:37:46
693
原创 一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
2024-12-29 23:30:41
1518
原创 Twilio 采用 OpenAI 的实时 API，扩展其对话式 AI 功能
事实上，如果 Twilio 客户也拥有前面提到的 CustomerAI 产品，他们可能会对 Segment 中的 Golden Profiles（个性化的客户记录）有更深入的了解。她说：“将 OpenAI 的 Realtime API 与 Twilio 的平台相结合，使企业能够大规模提供更自然、实时的 AI 语音交互。其共享音频笔记的能力，加上 OpenAI 实时 API 的语音功能，可以为更具创新性的自动化消息传递活动铺平道路。企业可以利用这一点来创造更人性化的语音体验，降低运营成本并提高客户满意度。
2024-12-28 09:47:49
541
原创 基于 pytorch 实现模型剪枝
torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)： 用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。更多剪枝方法实践，可以参考这个github。
2024-10-24 07:12:17
1179
原创 学习使用LangGraph x GPT-Researcher构建一个多智能体架构的AI自主研究助理
在这个多智能体系统中，AI的职责被设计与分工到不同的Agent，因此单个Agent的功能其实是比较简单的，而且这里除了browser与researcher这两个Agent（这两个借助了现成的GPT-Researcher库），不需要借助外部的Tools，只需要借助大模型提示来完成即可。最后，在完成Agent与Workflow的创建后，就可以运行已经创建好的Workflow，输入任务信息即可启动一个自主运行的AI研究助理，等待最终输出即可（中间需要给出人类的确认反馈）。
2024-09-08 08:04:53
1452
原创 Django 教程第1章 | 快速入门 | 基础知识
我们可以自定义管理页面，来取代默认的页面。比如上面的 "add" 页面。我们想只显示 name 和 email 部分。admin.py以上代码定义了一个 ContactAdmin 类，用以说明管理页面的显示格式。里面的 fields 属性定义了要显示的字段。由于该类对应的是 Contact 数据模型，我们在注册的时候，需要将它们一起注册。显示效果如下：我们还可以将输入栏分块，每个栏也可以定义自己的格式。
2024-08-25 15:07:27
897
1
原创 comfyUI和SD webUI都有哪些差别呢？
综上所述，选择ComfyUI还是SD WebUI取决于您的具体需求：如果您追求高性能、自定义工作流并愿意投入时间学习，ComfyUI可能是更好的选择；若您偏好直观易用、丰富的插件资源以及稳定的更新，SD WebUI则可能更适合您。ComfyUI和SD WebUI都是用于AI绘画的用户界面，它们各自有着不同的特点和适用场景。分享一些比较好用的SD模型，可以直接下载免费使用链接地址：「
2024-08-22 16:27:36
3614
原创 开源仅 1 天就斩获近万星！超越 RAG、让大模型拥有超强记忆力的 Mem0 火了
人类的记忆有限，但是 Dot 拥有超长的记忆能力，你可以随时 cue 它回答关于你的任何回忆，你发送的文字、语音备忘录、图片、PDF 文件，它都用来形成它的记忆，从而成为一个随时在线的伴侣，帮助你思考生活、发现隐藏的联系并提升自我。Mem0 可以用来开发长期、短期记忆，它能记住用户的偏好、过去的交互、事情的进展，可以为应用构建适应性的学习体验。：Mem0 优先考虑最近的交互，并逐渐忘记过时的信息，确保记忆保持相关和最新，以提供更准确的响应。并且 Mem0 还提供了开发者友好的 API，安装和使用也很简单。
2024-08-11 07:42:30
657
原创 Mixture-of-Agents（MoA）
我们的MoA方法在无害性、鲁棒性、正确性、效率、事实性、常识性、洞察力、完整性等方面均优于原Qwen1.5-110B-Chat。值得注意的是，在 AlpacaEval 2.0 上，仅使用开源模型，我们从 57.5% （GPT-4 Omni） 到 65.1% （MoA） 实现了 7.6% 的绝对提升。Mixture of Agents （MoA） 是一种新颖的方法，它利用多个 LLM 的集体优势来提高绩效，实现最先进的结果。通过采用分层架构，每层包含多个 LLM 代理，MoA 在仅使用开源模型的情况下，在。
2024-08-10 23:15:10
1027
原创 一文详解大模型蒸馏工具TextBrewer
TextBrewer为NLP中的知识蒸馏任务设计，融合了多种知识蒸馏技术，提供方便快捷的知识蒸馏框架。模型无关：适用于多种模型结构（主要面向Transfomer结构）方便灵活：可自由组合多种蒸馏方法；可方便增加自定义损失等模块非侵入式：无需对教师与学生模型本身结构进行修改支持典型的NLP任务：文本分类、阅读理解、序列标注等TextBrewer软标签与硬标签混合训练动态损失权重调整与蒸馏温度调整。
2024-08-04 07:40:05
2103
原创 大模型瘦身专家！单卡处理Llama 3.1 405B 超强压缩工具LLMC来了
量化，就像是给AI大脑做了一次“瘦身”，通过将模型的权重和激活映射到更低位数的数据格式，不仅减少了模型的体积，还加快了模型的运行速度。LLMC就像是AI的私人减肥教练，它能够帮助研究者和开发者找到最适合的"减肥方案"，既能让AI模型变得更轻盈，又不会影响它的"智力水平"。一个拥有1760亿参数的多语言模型Bloom，光是存储模型的权重就需要至少350GB的空间，而且运行起来还需要好几块高级GPU。在量化算法方面，他们探讨了转换、裁剪和重建三种主要技术的影响，就像是比较了不同的运动方式对减肥的效果。
2024-08-02 18:38:16
595
原创 ray集群部署vllm的折磨
这个想法是在去年下半年的时候萌发的，当时开源界已经有很多LLM inference的框架，比如：huggingface transformer（包括accelerate）包，deepspeed-inference/deepspeed-FastGen（似乎现在做了集成，改名为deepspeed-MII）,还有GGUF格式的inference，以及今天的主角vllm。虽然问题得到了解决，但是我心里仍然很不安，原因很简单：我的解决方案并不是vllm官方支持的，只是通过研读源码，自行找到的解决方案。
2024-08-02 17:10:08
3357
1
原创 使用FastChat快速部署LLM服务
FastChat 的 Worker 会向 Controller 注册自身，并通过心跳机制保持连接。使用 FastChat OpenAI API Server 的端点初始化。为了避免潜在的依赖冲突，创建单独的虚拟环境用于FastChat部署。为了获得更好的推理性能，推荐使用vLLM作为后端来加速推理。服务启动后，默认端口是 8000，可以通过。关闭 OpenAI API Server。参数是设置服务的主机地址，这里设置为。，表示可以通过任何地址访问。关闭 Controller。
2024-08-02 17:02:32
1619
原创 大模型量化技术原理-SmoothQuant
根据量化参数s(数据量化的间隔)和z(数据偏移的偏置)的共享范围，即量化粒度的不同，量化方法可以分为逐层量化（per-tensor）、逐通道（per-token & per-channel 或者 vector-wise quantization ）量化和逐组量化（per-group、Group-wise）。近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
2024-08-02 09:25:48
1197
原创 LLaMA-Factory QuickStart
数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在中找到相关解释。系统目前支持 alpaca 和sharegpt两种数据格式，以alpaca为例，整个数据集是一个json对象的list，具体数据格式为"instruction": "用户指令（必填）","input": "用户输入（选填）","output": "模型回答（必填）",
2024-07-31 15:27:41
1808
原创 听说可以用ChatGPT写答辩意见了？GPT模型在律师法律文书写作领域的助益与不足
原文：https://zhuanlan.zhihu.com/p/651345473今年以来，以ChatGPT为代表的新型人工智能语言模型（统称为“GPT模型”）风靡全球，对各行业均产生了不同程度的冲击。就律师行业而言，主要针对以GPT模型能否取代律师工作，在何种程度上能够为律师工作提供协助，可能存在及产生的法律风险等方面，实务界展开了热烈的讨论。本文以笔者所在团队实际代理的某侵权责任案为切入点，尝试展示GPT模型分析该案的视角、层次及逻辑，并通过与法院判决部分的对比，揭示GPT模型在案情分析及文
2024-07-27 22:41:58
994
原创 法律 | 法律人AI使用指南
原文：法律 | 法律人AI使用指南|法官|法院|文书|公司法_网易订阅01引言过去半年多，我一直在尝试着用AI来辅助自己的各项法律工作，将AI融入自己的日常工作之中，并试图形成自身稳定的“法律+AI”工作流。在此过程中，我时常惊讶于AI高效的工作能力，也不时会感到失望——他有他的长处，也有他的局限——逐渐地，我学会了扬长避短，也算积累了一些经验与教训，所以这篇文章既是分享，也是对过去自身工作经验的梳理与总结。我有一个比喻：在AI时代，对于法律工作而言，AI擅长的不是从0到1，而是从1到90
2024-07-27 17:05:21
2531
原创 搭建多元专家系统（MOA）：轻松整合大模型的力量（二）
近期，AI领域出现了一个引人注目的新现象——“逆转诅咒”（Reversal Curse），这一概念迅速成为热点话题，影响了现今所有的大型语言模型。令人惊讶的是，即便面对极为基础的问题，这些模型的准确率不仅几乎为零，而且似乎没有改善的迹象。更重要的是，这一问题的存在与模型的规模或提问的具体内容无关。在预训练大模型时代，人们曾乐观地认为AI开始展现出一定的逻辑推理能力，然而“逆转诅咒”的出现仿佛让这一切回到了起点。
2024-07-21 21:35:44
1105
原创 docker mirrors (适合中国宝宝的镜像源)
在国内的访问速度极慢. 当时大家主要还是依赖国内的一些镜像源: 如中科院或alipapa etc. 但是今年逐渐所有的国内镜像站也逐渐关闭. 在墙内的小伙伴想要拉取镜像变成了很困难的事情。如果你正在使用 orbstack. 你也可以直接在 ~/.orbstack/config/docker.json 中编辑配置，然后用 orb restart docker 重启引擎。注: 视频中使用的是 orb. 基本操作和直接使用 docker 相同. 具体细节可以查看下面的配置方法.更多 orb 细节, 见。
2024-07-07 18:33:10
1547
原创 一种基于LLM的辅助教学方法与流程
这些功能通过与教学辅助模型的交互实现，包括发送指令、输入学生的学习需求和学科知识点、输入学生的学习进度和水平等。13、信息补充，用户向教学辅助平台发送需求指令，教学辅助平台通过prompt交互向教学辅助模型补充更具体的信息，包括针对原信息点进行二次展开，或者结合所有补充的信息，重新生成全面教学辅助信息。36、信息补充，用户向教学辅助平台发送需求指令，教学辅助平台通过prompt交互向教学辅助模型补充更具体的信息，包括针对原信息点进行二次展开，或者结合所有补充的信息，重新生成全面教学辅助信息。
2024-04-28 19:00:46
1132
原创 探索LLM大模型在教育领域的应用前景
其中，$\mathbf{h}w$ 表示单词的向量表示，$\mathbf{E}$ 表示词嵌入矩阵，$\mathbf{x}w$ 表示单词的一热编码向量，$\mathbf{b}_w$ 表示单词的偏置向量。其中，$\mathbf{Q}$ 表示查询矩阵，$\mathbf{K}$ 表示关键字矩阵，$\mathbf{V}$ 表示值矩阵，$d_k$ 表示关键字向量的维度。其中，$\text{head}_i$ 表示单个自注意力层的计算结果，$h$ 表示多头注意力的数量，$\mathbf{W}^O$ 表示输出权重矩阵。
2024-04-28 18:56:03
1873
原创 【ChatGPT】AI评论家，适合点评论文和文章的Prompt模
使用方法：复制下述提示词到ChatGPT，然后把需要评价的文本复制到文末。编辑于 2023-07-29 02:36・IP 属地上海。4. 小编审稿（可以早下班了！2. 老师给学生的作文打分。3. 业余评论家点评文章。1. 家长辅导孩子写作。
2024-04-28 17:04:46
1915
原创 CHATGPT对写作业的好处
本文目录一览1、chatGPT对写作业的好处2、chatGPT批改作业3、chatGPT完成作业4、chatGPT写作业水平超过大学生5、美国大学生用chatGPT写作业大家好，今天来为您分享chatGPT对写作业的好处的一些知识，本文内容可能较长，请你耐心阅读，如果能碰巧解决您的问题，别忘了关注本站，您的支持是对我们的最大鼓励！其实这么做的目的也是投喂chatGPT，让它围绕你的主题，学习不同的知识，例如高引文献、综述文献、按时间或按某些主题的文献、指定某些期刊的文献等等。
2024-04-28 10:32:37
1911
原创 人工智能技术在教育中的潜力有多大
原文：人工智能技术在教育中的潜力有多大作者：大全Prompt链接：https://www.zhihu.com/question/637034129/answer/3346272227来源：知乎谢邀：在技术快速发展的今天，人工智能（AI）技术在教育领域的应用正成为一个热门话题。AI技术在教育中的潜力是巨大的，它不仅能够改变教学方式，还能提升学习效率，实现个性化教育。
2024-04-28 07:54:14
2678
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人