张伟的专栏

请帮我列出减肥期间可以吃的水果，并分析该水果含有的营养元素，以表格的形式星现。1.要以html的方式输出 2.要可以直接运行 3.页面要提供可以直接下载word和excel功能。

dify在使用pg时，使用了两个库dify与dify_plugin。多类型数据库协同：Dify 采用了 PostgreSQL、Redis、文件存储和向量数据库的多层次存储架构，实现了数据的高效管理与快速访问。数据隔离与安全：通过 dify 和 dify_plugin 两个独立数据库的设计，确保了核心数据与插件数据的有效隔离，提升了系统的安全性。灵活部署配置：支持 Docker 部署和源码部署两种模式，通过环境变量配置数据库连接信息，提供了高度的部署灵活性。性能优化机制。

我们只需要找到一个可以直接访问 url 就能生成图片的 AI 服务即可。以文章开头中的提示词为例，如果要使用文生图的功能，Pollinations 提供了。地址，description 就是需要填充的提示词。同理，如果还有一些其他类似的 AI，也可以这样搞。效果还不错，就是图片渲染出来需要等一会会儿时间。接下来我们再看下上述提示词中所使用到的——我们来测试一下：画一个日出时分的森林。感兴趣的小伙伴快去试试吧～

在任务型多轮对话中，意图识别是一个关键的环节。意图识别是指从用户输入的对话内容（如文本、语音等形式）中分析并判断出用户的目的或者意图。例如，在一个智能客服对话系统中，用户输入“我想要查询一下我的订单状态”，系统通过意图识别就能判断出用户的意图是查询订单状态。它能够帮助对话系统理解用户想要做什么，从而决定对话的走向。如果系统正确识别了用户是要查询订单状态，就可以引导用户提供订单相关的信息，如订单号等，以便完成查询任务。准确的意图识别可以避免系统对用户的回答驴唇不对马嘴。

原文：微调数据集太难搞？我直接手搓一个开源项目！微调模型想加餐 文献堆成五指山 传统方法泪两行 AI生成总截断 重复问题脑壳瘫 - 掘金如何将领域文献转换为可供模型微调的数据集？大家好，我是 ConardLi本文为：想微调特定领域的 DeepSeek，数据集究竟要怎么搞？ 对应的第一个实战章节，通过今天的文章，将带大家学习：很多情况下，如果你只是需要通过微调来提升模型某一方面的能力，在没有特殊的内部数据要求的情况下，是没必要自己去构造数据集的，因为目前互联网上存在着大量的公开且免费使用的数据集，下面就带大家

区别技术特征：区别于最接近的现有技术的技术特征（2.5分）；'reply': '共有技术特征：与所对比的技术方案相同的技术特征\n区别技术特征：与所对比的技术方案相区别的技术特征\n附加技术特征：对引用的技术特征进一步限定的技术特征\n必要技术特征：解决技术问题必须可少的技术特征','reply': '共有技术特征：与所对比的技术方案相同的技术特征\n区别技术特征：与所对比的技术方案相区别的技术特征\n附加技术特征：对引用的技术特征进一步限定的技术特征\n必要技术特征：解决技术问题必须可少的技术特征'

在今年1月末，DeepSeek再度抛出了一个重磅消息：“蒸馏小模型超越OpenAI o1-mini”。按官方公布数据，通过DeepSeek-R1的输出，蒸馏了6个小模型开源给社区，其中32B和70B模型在多项任务上表现与OpenAI o1-mini相当。要知道，蒸馏过程不需要对模型架构进行复杂修改，减少了开发成本，并且比从头训练一个同规模的模型要节省大量的计算资源。如今，

手把手教你三步极速蒸馏DeepSeek R1，效果媲美OpenAI o3 mini！摘要•帮你速读文章内容DeepSeek蒸馏小模型媲美OpenAI，通过百度智能云千帆ModelBuilder，3小时低成本将DeepSeek-R1知识蒸馏至轻量级模型，性能大幅提升，训练成本最低900元，助力企业优化AI模型性能。摘要由作者通过智能技术生成在今年1月末，DeepSeek再度抛出了一个重磅消息：“蒸馏小模型超越OpenAI o1-mini”。

近日， LiveKit 与 OpenAI 建立合作伙伴关系，提供可以使用与 ChatGPT 的新高级语音（Advanced Voice）功能相同的端到端技术来构建自己的应用程序。Python 和 Node 中提供的新型多模式代理 API 旨在完全包装 OpenAI 的实时 API，抽象出原始线路协议，并为 GPT-4o 提供干净的“直通”接口。LiveKit 是简化 WebRTC的开源基础设施，而LiveKit Cloud是一个全球服务器网络，经过优化，可以大规模、可靠地传输音频并实现尽可能低的延迟。

RAPTOR 通过递归聚类和总结文本构建层次化的树结构，支持在不同抽象层次上的检索，结合广泛主题和具体细节。它在复杂问答任务中表现优于传统方法，提供树遍历和折叠树方法，以实现高效的信息检索。

第三种方案，也就是我们采用的 RAG 方法，它不改变大模型本身，而是通过检索领域知识，然后结合问题和检索到的知识，用大模型生成答案。此外，由于它不是直接生成答案，而是基于搜索结果，所以可以提供生成答案的依据，解决了可溯源的问题。第一个例子是，当用户询问如何修改云盘的 UUID 时，搜索回来的结果可能是“修改云盘的 UUID 步骤如下”，但接下来的步骤可能被切到了下一个切片。然而，我们发现许多客户的数据中，不同层级的标题可能使用了相同的字号，这就需要我们在数据中进行层级的合并和构造，以模拟客户的实际数据。

检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。

事实上，如果 Twilio 客户也拥有前面提到的 CustomerAI 产品，他们可能会对 Segment 中的 Golden Profiles（个性化的客户记录）有更深入的了解。她说：“将 OpenAI 的 Realtime API 与 Twilio 的平台相结合，使企业能够大规模提供更自然、实时的 AI 语音交互。其共享音频笔记的能力，加上 OpenAI 实时 API 的语音功能，可以为更具创新性的自动化消息传递活动铺平道路。企业可以利用这一点来创造更人性化的语音体验，降低运营成本并提高客户满意度。

torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)： 用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。更多剪枝方法实践，可以参考这个github。

在这个多智能体系统中，AI的职责被设计与分工到不同的Agent，因此单个Agent的功能其实是比较简单的，而且这里除了browser与researcher这两个Agent（这两个借助了现成的GPT-Researcher库），不需要借助外部的Tools，只需要借助大模型提示来完成即可。最后，在完成Agent与Workflow的创建后，就可以运行已经创建好的Workflow，输入任务信息即可启动一个自主运行的AI研究助理，等待最终输出即可（中间需要给出人类的确认反馈）。

综上所述，选择ComfyUI还是SD WebUI取决于您的具体需求：如果您追求高性能、自定义工作流并愿意投入时间学习，ComfyUI可能是更好的选择；若您偏好直观易用、丰富的插件资源以及稳定的更新，SD WebUI则可能更适合您。ComfyUI和SD WebUI都是用于AI绘画的用户界面，它们各自有着不同的特点和适用场景。分享一些比较好用的SD模型，可以直接下载免费使用链接地址：「

人类的记忆有限，但是 Dot 拥有超长的记忆能力，你可以随时 cue 它回答关于你的任何回忆，你发送的文字、语音备忘录、图片、PDF 文件，它都用来形成它的记忆，从而成为一个随时在线的伴侣，帮助你思考生活、发现隐藏的联系并提升自我。Mem0 可以用来开发长期、短期记忆，它能记住用户的偏好、过去的交互、事情的进展，可以为应用构建适应性的学习体验。：Mem0 优先考虑最近的交互，并逐渐忘记过时的信息，确保记忆保持相关和最新，以提供更准确的响应。并且 Mem0 还提供了开发者友好的 API，安装和使用也很简单。

我们的MoA方法在无害性、鲁棒性、正确性、效率、事实性、常识性、洞察力、完整性等方面均优于原Qwen1.5-110B-Chat。值得注意的是，在 AlpacaEval 2.0 上，仅使用开源模型，我们从 57.5% （GPT-4 Omni） 到 65.1% （MoA） 实现了 7.6% 的绝对提升。Mixture of Agents （MoA） 是一种新颖的方法，它利用多个 LLM 的集体优势来提高绩效，实现最先进的结果。通过采用分层架构，每层包含多个 LLM 代理，MoA 在仅使用开源模型的情况下，在。

原文：github:

TextBrewer为NLP中的知识蒸馏任务设计，融合了多种知识蒸馏技术，提供方便快捷的知识蒸馏框架。模型无关：适用于多种模型结构（主要面向Transfomer结构）方便灵活：可自由组合多种蒸馏方法；可方便增加自定义损失等模块非侵入式：无需对教师与学生模型本身结构进行修改支持典型的NLP任务：文本分类、阅读理解、序列标注等TextBrewer软标签与硬标签混合训练动态损失权重调整与蒸馏温度调整。

量化，就像是给AI大脑做了一次“瘦身”，通过将模型的权重和激活映射到更低位数的数据格式，不仅减少了模型的体积，还加快了模型的运行速度。LLMC就像是AI的私人减肥教练，它能够帮助研究者和开发者找到最适合的"减肥方案"，既能让AI模型变得更轻盈，又不会影响它的"智力水平"。一个拥有1760亿参数的多语言模型Bloom，光是存储模型的权重就需要至少350GB的空间，而且运行起来还需要好几块高级GPU。在量化算法方面，他们探讨了转换、裁剪和重建三种主要技术的影响，就像是比较了不同的运动方式对减肥的效果。

这个想法是在去年下半年的时候萌发的，当时开源界已经有很多LLM inference的框架，比如：huggingface transformer（包括accelerate）包，deepspeed-inference/deepspeed-FastGen（似乎现在做了集成，改名为deepspeed-MII）,还有GGUF格式的inference，以及今天的主角vllm。虽然问题得到了解决，但是我心里仍然很不安，原因很简单：我的解决方案并不是vllm官方支持的，只是通过研读源码，自行找到的解决方案。

FastChat 的 Worker 会向 Controller 注册自身，并通过心跳机制保持连接。使用 FastChat OpenAI API Server 的端点初始化。为了避免潜在的依赖冲突，创建单独的虚拟环境用于FastChat部署。为了获得更好的推理性能，推荐使用vLLM作为后端来加速推理。服务启动后，默认端口是 8000，可以通过。关闭 OpenAI API Server。参数是设置服务的主机地址，这里设置为。，表示可以通过任何地址访问。关闭 Controller。

根据量化参数s(数据量化的间隔)和z(数据偏移的偏置)的共享范围，即量化粒度的不同，量化方法可以分为逐层量化（per-tensor）、逐通道（per-token & per-channel 或者 vector-wise quantization ）量化和逐组量化（per-group、Group-wise）。近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。

硬件资源篇。

数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在中找到相关解释。系统目前支持 alpaca 和sharegpt两种数据格式，以alpaca为例，整个数据集是一个json对象的list，具体数据格式为"instruction": "用户指令（必填）","input": "用户输入（选填）","output": "模型回答（必填）",

原文：https://zhuanlan.zhihu.com/p/651345473今年以来，以ChatGPT为代表的新型人工智能语言模型（统称为“GPT模型”）风靡全球，对各行业均产生了不同程度的冲击。就律师行业而言，主要针对以GPT模型能否取代律师工作，在何种程度上能够为律师工作提供协助，可能存在及产生的法律风险等方面，实务界展开了热烈的讨论。本文以笔者所在团队实际代理的某侵权责任案为切入点，尝试展示GPT模型分析该案的视角、层次及逻辑，并通过与法院判决部分的对比，揭示GPT模型在案情分析及文

原文：法律 | 法律人AI使用指南|法官|法院|文书|公司法_网易订阅01引言过去半年多，我一直在尝试着用AI来辅助自己的各项法律工作，将AI融入自己的日常工作之中，并试图形成自身稳定的“法律+AI”工作流。在此过程中，我时常惊讶于AI高效的工作能力，也不时会感到失望——他有他的长处，也有他的局限——逐渐地，我学会了扬长避短，也算积累了一些经验与教训，所以这篇文章既是分享，也是对过去自身工作经验的梳理与总结。我有一个比喻：在AI时代，对于法律工作而言，AI擅长的不是从0到1，而是从1到90

近期，AI领域出现了一个引人注目的新现象——“逆转诅咒”（Reversal Curse），这一概念迅速成为热点话题，影响了现今所有的大型语言模型。令人惊讶的是，即便面对极为基础的问题，这些模型的准确率不仅几乎为零，而且似乎没有改善的迹象。更重要的是，这一问题的存在与模型的规模或提问的具体内容无关。在预训练大模型时代，人们曾乐观地认为AI开始展现出一定的逻辑推理能力，然而“逆转诅咒”的出现仿佛让这一切回到了起点。

这些功能通过与教学辅助模型的交互实现，包括发送指令、输入学生的学习需求和学科知识点、输入学生的学习进度和水平等。13、信息补充，用户向教学辅助平台发送需求指令，教学辅助平台通过prompt交互向教学辅助模型补充更具体的信息，包括针对原信息点进行二次展开，或者结合所有补充的信息，重新生成全面教学辅助信息。36、信息补充，用户向教学辅助平台发送需求指令，教学辅助平台通过prompt交互向教学辅助模型补充更具体的信息，包括针对原信息点进行二次展开，或者结合所有补充的信息，重新生成全面教学辅助信息。

其中，$\mathbf{h}w$ 表示单词的向量表示，$\mathbf{E}$ 表示词嵌入矩阵，$\mathbf{x}w$ 表示单词的一热编码向量，$\mathbf{b}_w$ 表示单词的偏置向量。其中，$\mathbf{Q}$ 表示查询矩阵，$\mathbf{K}$ 表示关键字矩阵，$\mathbf{V}$ 表示值矩阵，$d_k$ 表示关键字向量的维度。其中，$\text{head}_i$ 表示单个自注意力层的计算结果，$h$ 表示多头注意力的数量，$\mathbf{W}^O$ 表示输出权重矩阵。

使用方法：复制下述提示词到ChatGPT，然后把需要评价的文本复制到文末。编辑于 2023-07-29 02:36・IP 属地上海。4. 小编审稿（可以早下班了！2. 老师给学生的作文打分。3. 业余评论家点评文章。1. 家长辅导孩子写作。

本文目录一览1、chatGPT对写作业的好处2、chatGPT批改作业3、chatGPT完成作业4、chatGPT写作业水平超过大学生5、美国大学生用chatGPT写作业大家好，今天来为您分享chatGPT对写作业的好处的一些知识，本文内容可能较长，请你耐心阅读，如果能碰巧解决您的问题，别忘了关注本站，您的支持是对我们的最大鼓励！其实这么做的目的也是投喂chatGPT，让它围绕你的主题，学习不同的知识，例如高引文献、综述文献、按时间或按某些主题的文献、指定某些期刊的文献等等。

原文：人工智能技术在教育中的潜力有多大作者：大全Prompt链接：https://www.zhihu.com/question/637034129/answer/3346272227来源：知乎谢邀：在技术快速发展的今天，人工智能（AI）技术在教育领域的应用正成为一个热门话题。AI技术在教育中的潜力是巨大的，它不仅能够改变教学方式，还能提升学习效率，实现个性化教育。

KV Cache，即键-值缓存，是一种用于存储键值对数据的缓存机制。在语言模型的推理过程中，经常需要多次访问相同的数据，而KV Cache通过将这些数据缓存到内存中，提供了快速的数据访问速度，从而加速推理过程。该技术仅应用于解码阶段。如 decode only 模型（如 GPT3、Llama 等）、encode-decode 模型（如 T5）的 decode 阶段，像 Bert 等非生成式模型并不适用。

Pro+增加到了3个高RAM会话和3个标准会话，在Pro基础上又翻了2.5倍，相当于免费版算力的9倍，Pro+的52GB的高RAM和Pro的25GB的高RAM相比也略有提升（10分钟的epoch能快2分钟左右）。在打开笔记本后，我们默认的文件路径是"/content"，这个路径也是执行笔记本时的路径，同时我们一般把用到的各种文件也保存在这个路径下。如果在有代码块执行的情况下继续点击其他代码块的“播放”按钮，则这些代码块进入“等待执行”的状态，按钮也就会进入转圈的状态，但外部的圆圈是虚线。

请申请一个免费 T4 GPU 来运行该脚本。

每个Epoch结束时或者在特定的Epoch间隔时，系统会自动保存当前模型的状态，包括模型的参数（权重和偏置）和优化器的状态。Playground是OpenAI在2022年发布的一个可视化模型比较平台，提供了一个交互式的在线环境，允许用户输入指令或提示，然后将其发送给多个语言模型查看它们的输出结果。微调训练，使用带标注的私有数据，以较小的学习率对整个模型进行训练，直至模型在验证集上的指标达到理想效果。新增的基于 Epoch 的检查点创建功能，可以极大减少模型的重复训练，尤其是在过度拟合的情况下。

请注意，由于工具和项目的更新和变化，GitHub链接可能会发生变化或不再可用。在访问链接时，请确保检查链接的有效性，并参考最新的官方文档和社区信息。此外，一些工具可能是私有或受限制的，因此可能无法直接访问其GitHub仓库。在这种情况下，你可以通过官方渠道或相关社区来获取更多信息和支持。

由于模型权重和不断增长的 KV 缓存都必须在每次前向传递（forward pass）时加载，解码步骤涉及非常大的数据传输，正如我们将在接下来的文章中看到的那样，实际上是受内存带宽限制的，也就是说，我们实际上花在移动数据上的时间要多于做有用工作（即计算）的时间。只有那些对权重和“activations”（即不是权重的其他任何内容）都进行量化的算法，比如 LLM.int8() [17] 或 SmoothQuant [18]，才能产生经过量化的 KV 缓存，将其转换为较低精度的表示形式。