七哥的AI日常-CSDN博客

原创介绍 Agent Q：迎接下一代 AI 自动化助手

Agent Q 是基于一篇名为《Agent Q》的研究论文开发的，这篇论文详细描述了一种自我修正的 AI 代理架构。简而言之，论文提出的架构能够生成任务计划，并在每一步进行自我检查以确保任务完成正确。这种架构也被应用在 Mul 的 AI 代理中，可以视为其开源替代品。总的来说，Agent Q 是一款令人印象深刻的 AI 自动化助手。它不仅具备强大的功能，还提供了极高的灵活性和用户友好性。希望这篇文章能够帮助你更好地了解和使用 Agent Q。如果你对这款工具有任何疑问或建议，欢迎在评论区留言。

2024-09-25 09:42:53 1225 1

原创个人随想-代码生成工具v0+claude+cursor

有一点前端经验的人都知道，无论是react还是vue，现在都是组件开发，通过v0，它会将原型以单个文件全部返回给我们，接下来，我们将复制粘贴这个文件，发送给claude，一般我们会选用sonnet模型，让sonnet将v0的前端代码文件，组织到单独的组件中。我个人还是保持怀疑的，毕竟作为软件开发来说，毕竟是一个团队工程，需要各个角色的配合，光一个cursor生成的应用直接发布上线，还是有困难的。这里不做解释，就说一句，哪怕你不会英语，都把你的提示词，放到翻译软件里面，翻译成英文，再放到sonnet里面。

2024-09-23 06:35:36 1608

原创个人随想-gpt-o1大模型中推理链的一个落地实现

另外，所有引用的信息，请标明引用的地址，方便我做更加详细的了解。对于这样的指令，大模型其实很难把握住用户的具体需求，而你要让用户学习提示词，把所有关于你的需求都写清楚，这也不太可能，很多时候，用户都不知道自己写的这个报告，要包含哪些方面。需求收集完的业务逻辑处理，就很简单了，无非就是各种multi-agent的处理，大家应该都会，如果不会的，也可以留言，我过几天再出一期。接下来，llm又给我介绍了一大堆，除了字数变长了，其它的，我真没发现有啥区别，这个东西，我跟本没法用，更别说去汇报了。

2024-09-17 21:41:30 1363

原创个人随想-向量数据库，你到底应该选择谁？

特别是范围查询的时候，比如一个电影推荐的vectorstore，比如，用户如果问，香港的动作电影。比如在电商中，可以先搜索关键词，搜索出来的结果后，再通过品牌，价格区间，评分进行细分，与lucene类似，如果大家以前对搜索有一定研究的话，就可以知道，这个相当于搜索结果再分组，类似与lucene、solr等搜索引擎。以我接触过的很多公司来说，他们去选择向量数据库的时候，很多都和迷茫，不知道应该选择哪个向量数据库，甚至也不知道市面上有哪些向量数据库，甚至很多公司就随便选了一个差不多的，先用起来再说。

2024-09-16 00:28:18 1371

原创个人随想：嵌入学习桌的智能学习与陪伴助手

那么，量化后的AI模型是否适合商用？考虑到学习桌的硬件配置和成本，他们选择了量化后的多模态模型，而非高性能GPU，以实现性价比的平衡。这个量化后的模型涵盖了小、初、高中的核心学习内容，通过语音交互，孩子在做作业时遇到问题，可以与学习桌进行互动，AI模型将实时解答。在有GPU支持的情况下，许多人会倾向选择更大参数的模型，因为通常参数越大，效果越好，这已成为行业共识。他们的最终愿景是打造一个集学习与陪伴功能于一体的智能学习工具，家长无需购买额外的学习资料或安装额外的APP，一张学习桌便可满足孩子的学习需求。

2024-09-13 16:42:26 424

原创个人随想-如何开发一个code agent

随着sonnet的普及，现在的开发确实可以达到事半功倍的效果，再加上cursor、claude dev等工具的加持，现在的软件开发，确实门槛降低了很多，我们可以快速的让ai给我们大量的提示、重构、单元测试、explain甚至是完全用自然语言去开发一个项目。目前，这个项目我们已经进入了第二个迭代，从论文分析、代码构造、代码预估、testcase构造、沙箱隔离这几个重点入手，在第一个迭代中，已经基于他们的目前所有的代码进行了开发。3、需要严格把控安全性，不能生成不能运行的、错误的、有安全隐患的代码。

2024-09-10 16:28:04 288

原创个人随想-一道简单的AI面试题

面试的时候也是一样，各种transformer的细节，mamba的细节，对于现在快速发展的ai应用，特别是cursor+sonnet的快速普及，如何可以找到一个可以快速开发AI应用上手的人，特别是如何识别这个人是否开发过AI应用，是很多公司面试所面临的问题。接下来，你可以在面试的时候，举例说明，比如：我现在有2个方法，一个是给用户发邮件的方法，一个是给用户发短信的方法。最后，在问一下，在他的项目中，一个项目bind过多少过tool，大致了解一下他的应用规模，我觉得您对他的技术实力，基本就有数了。

2024-09-09 16:26:14 794

原创个人随想-一个有意思的鼠标截屏RAG

接下来，我们会在截屏旁边，提供rag和agent入口，它可以选择要执行的操作，如果是rag，我们就会调用chatprompttemplete+ocr这个image的内容，发送到agent，同时带上图片的原始值，做multi-model的rag。他说，这还是比较麻烦。现在截图功能，已经越来越普及，一个截图，不需要保存截图，然后找到这个截图，再发送给大模型，而是我一个截图，直接调用大模型，这个产品经理，确实让我刮目相看。ok，我们继续做，具体怎么做的，怎么跟客户沟通的，等我们做好了，再跟大家分享。

2024-09-07 17:11:14 461

原创个人随想-rag+agent真的好么？

想想好像没问题，你发来一个问题，我的第一个路由判断，你这个问题是不是属于我的rag中知识的问题，如果是，直接到rag的检索，然后给你答案，如果不是，我将这个问题，转到tavily搜索。这个时候，有杠精会说了，这不简单，你在入口中，增加判断，如果用户的问题，是关于rag知识库的内容，就路由到知识库检索中，如果不是，就统一到一个agent，这个agent比如是一个tavily搜索，这样，不就是没有任何问题了？那么这个时候，客户问了一个问题，请帮我在c盘根目录，建立一个a.txt文件，文件中写入，hello。

2024-09-06 12:10:33 956

原创日常随笔：大模型输出的安全守卫

由于不同的企业使用了不同的llm模型，有的是开源的，有的是闭源的，还有是自己微调的，不同的模型，在输出结果的可控方面，还是有待提高。有杠精会说，像这种内部的联系方式，可以通过清洗数据或者Agent的方式来控制生成，这里不杠，我只是举个例子，特别是human一直尝试询问相同的违规问题，如果AI返回了这种response，您如何处理？如果，我是说，如果，你的LLM返回了如上的信息，作为AI工程师的你，应该如何处理呢？如果，我是说，如果，你的LLM返回了如上的信息，作为AI工程师的你，应该如何处理呢？

2024-09-02 22:45:36 357

原创深入了解Deep Eval：大规模语言模型评估的利器

通过以上步骤，我们已经成功设置并运行了第一个Deep Eval评估测试。Deep Eval不仅提供了丰富的评估方法，还通过Web UI提供了更好的数据分析工具，特别是在大规模数据测试时非常有用。如果你希望改进你的提示词或生产环境中的LLM应用，强烈推荐使用Deep Eval框架。希望这个教程能帮助你快速上手并开始构建自己的评估测试。Deep Eval是一个非常强大的工具，它不仅可以帮助你评估模型的性能，还可以提供深入的分析和见解，让你更好地理解和优化你的模型。

2024-09-02 08:00:00 1172 1

原创 Mamba：超越Transformer的新一代神经网络架构

Mamba通常被认为是状态空间模型（State-Space Model）的一种扩展。状态空间模型是一种序列模型，近年来逐渐受到关注。然而，状态空间模型背后的理论相当复杂，涉及到一些高级数学。幸运的是，Mamba也可以被理解为递归神经网络（Recurrent Neural Networks，简称RNNs）的扩展，而RNNs相对来说更容易理解。因此，我们将通过RNN的路径来理解Mamba。递归神经网络是一种处理序列数据的神经网络。给定一个输入向量序列，一个卷积层会对连续的向量组应用神经网络。

2024-09-01 08:00:00 1220

原创让PDF格式为LLM应用做好准备：探索Marker开源工具

随着数据在LLM应用中的重要性不断提升，像Marker这样的工具为我们提供了便捷的解决方案。希望本文能帮助您更好地理解和使用Marker，将PDF文件转换为结构化Markdown格式。关注我，每天带你开发一个AI应用，每周二四六直播，欢迎多多交流。

2024-08-31 08:00:00 1168

原创探索前沿科技：在本地系统上安装和使用Style TTS2进行高质量语音合成

在这个充满创新和科技的时代，像Style TTS2这样的模型展示了人工智能和语音合成技术的巨大潜力。无论是个人使用还是专业应用，这样的工具都能带来前所未有的便利和体验。希望本文能帮助您更好地理解和使用这一前沿科技。关注我，每天一个带你开发一个AI应用，每周二四六直播，欢迎多多交流。

2024-08-30 14:42:54 850

原创谷歌TPU 6.0：AI加速的新引擎及最新的3个模型

总体而言，我对新的实验Flash模型和Pro模型持乐观态度。而对于8B模型，暂时还需进一步优化或价格上的优势。最后，谷歌团队不断推出新的实验模型，进行迭代和改进，这展示了他们在AI领域的创新和进步。我们可以期待未来更多的突破和优化，特别是对于即将到来的Gemini 2模型。关注我，每天带你开发一个Ai应用，每周二四六直播，欢迎多多交流。

2024-08-29 15:39:11 767

原创以度量为驱动的代理开发RAGAS：提升RAG性能的关键

今天我们要讨论的是以度量为驱动的代理开发，特别是如何通过度量来评估代理在检索信息和生成答案方面的表现。这个度量驱动的方法的核心理念是，通过在我们的pipline中添加评估，我们可以更快速地迭代代理和检索生成（RAG）性能。这正是我们将在这里重点讨论的内容：如何通过Langchain将RAG应用于对话代理。

2024-08-26 10:28:39 811

原创搭建智能客服机器人：langgraph实现用户订单管理

我们要构建的系统是一个模拟登录的用户，可以创建订单或查看订单，其他功能则被屏蔽。首先我们会用一个虚拟令牌设置用户，并通过系统消息给机器人一个身份。离题意图：完全屏蔽。获取所有订单：查询数据库，按用户过滤并返回订单。创建订单：首先验证请求，缺失信息则提示用户补充。如果信息完整，将时间格式化为有效的时间戳，然后创建订单并写入数据库，最后给用户一个友好的响应。这整个过程分步骤进行，下面我们详细介绍实现过程。

2024-08-24 14:19:57 740

原创在做RAG以前你可以尝试的事：Prompt Caching

近年来，科技领域的创新不断涌现，为我们带来了许多令人兴奋的技术突破和应用。近期，Anthropic公司引入了与Claude配合使用的提示缓存技术（prompt caching），这项技术能够将长提示的成本降低高达90%，延迟减少高达85%。这一技术有望成为小规模检索增强生成（RAG）的一个良好替代方案。然而，实际上谷歌才是最早通过其API引入上下文缓存（context caching）技术的公司。本文将深入探讨这些技术的应用及其创新性。

2024-08-23 15:54:20 732

原创探索RAG与Multi-Agent的结合：解决复杂任务的新方法

当用户提出查询时，该查询也会嵌入到相同的低维空间，与向量存储中的信息进行比较，从而检索到相关的信息作为上下文，并与查询一起输入到语言模型中，生成基于上下文的最终答案。然而，通过构建工作流程，我们可以定义解决问题的具体路径，从而对每一步进行全面控制，但这需要量身定制的解决方案，可能耗时且复杂。在我们的嵌入空间中，嵌入数据的方式使得相似的词汇彼此接近。通过结合RAG和智能代理，我们能够解决复杂的任务，尽管可能需要权衡时间和成本，但在解决无法通过其他方法解决的任务时，这种方法具有显著优势。

2024-08-22 14:35:38 1138

原创清影智能开源版CogVideox：开源文本到视频生成模型的探索

通过这次演示，我们可以看到CogVideo模型在文本到视频生成方面的强大能力。尽管目前生成视频仍然需要高性能的硬件支持，但这一技术的潜力是显而易见的。此外，CogVideo X模型的成功得益于它使用的多种创新技术，如大规模的扩散变换器模型、3D变分自编码器、专家变换器和专家自适应层归一化等。这些技术不仅提高了视频生成的质量和效率，还加强了文本与视频的对齐，从而实现了更为自然和连贯的视频内容。在未来，文本到视频生成技术有望在多个领域发挥重要作用。

2024-08-20 08:00:00 767

原创探索最新的Hermes 3-405b模型：免费Co-pilot无极限

我认为这是目前你可以免费使用的最好的copilot。他们可能会在未来限制API的使用，但在此之前，你可以尽情使用。总体来说，这个copilot非常酷，工作效果也很好。在聊天中你可以使用更大的模型，而在自动补全中你可以本地完成所有操作。如果你愿意，你也可以使用其他模型。总之，我推荐使用qwen模型，因为它非常小，几乎可以在任何计算机上运行。关注我，每天带你开发一个AI应用，每周二四六直播，欢迎多多交流。

2024-08-19 08:00:00 1355

原创语音助手Verbi：科技创新的未来

Verbi不仅是一个技术项目，更是科技如何改变生活的一个生动例子。通过模块化设计和多API支持，Verbi展示了未来语音助手的无限可能。如果你对科技充满兴趣，那么Verbi绝对是一个值得探索的项目。关注我，每天带你开发一个AI应用，每周二四六直播，欢迎多多交流。

2024-08-18 13:50:38 396

原创 Grok2：埃隆-马斯克的新一代AI模型

综合来看，Grok2在地理和数学问题中仅有两次错误，而在编码问题中表现出色。相比之下Grok2mini在大多数测试中也表现良好，但在一些复杂问题上仍有差距。总体而Grok2展示了其强大的能力，特别是在数学和编码领域。随着Grok2和mini版本的逐步推广，我们可以期待其在实际应用中的更多表现。其即将推出的API也将为开发者提供更多的可能性，使其成为一个重要的AI工具。关注我，每天带你开发一个AI应用，每周二四六直播，欢迎大家多多交流。

2024-08-16 22:41:55 1345

原创探索生成式AI在文档处理中的应用：llm Whisperer

复杂文档通常指的是包含表格、图像或复杂数据的文档。这些文档不仅仅是简单的文本，而是需要处理和解析更多信息。在这种情况下，普通的生成式AI模型往往无法准确理解和处理这些内容。llm Whisperer是一款专门用来处理复杂文档的工具，它使得与复杂文档的交互变得更加轻松。llm Whisperer不仅能够处理这些复杂文档，而且操作起来非常简单。在本文中，我们将深入探讨这款工具，并了解其强大功能。

2024-08-16 13:14:05 815

原创 Omni Engineer：AI开发世界的新宠

今天，我将向大家介绍一个名叫Omni Engineer的新项目。你可能还记得之前我们介绍过的Claude Engineer和AMA Engineer，这两个项目都是由同一开发团队创建的。而现在，他们又推出了一个新的工程项目：Omni Engineer。这个新项目被视为Claude Engineer的接班人，并且能够通过Open Router使用任何模型。让我们一起来看看这个新工具有哪些创新和科技亮点吧。

2024-08-15 13:00:49 858

原创探索全新AI编码代理框架：Agent Zero

Agent Zero是一个自主AI框架，不需要预先配置代理、任务和工具。它可以在运行过程中动态生成这些功能。例如，我可以要求它获取北京和西雅图的当前时间。尽管代理没有特定的工具来完成这个任务，但它可以使用代码执行工具编写Python代码并在安全的Docker容器中执行。

2024-08-14 08:00:00 883

原创探索科技创新：Theia 21 Billion V1 角色扮演模型的深度体验

Theia 21 Billion V1是一个非常有趣的模型，因为它基于Mistol的Nemo模型。如果你不知道Mistol Nemo是什么，它是一个与Nvidia合作开发的12亿参数模型。Nemo提供了一个高达128k tokens的大上下文窗口，其推理能力、世界知识和编码准确性在同类模型中处于最前沿。此外，它依赖于标准架构，可以轻松替换任何使用以前广受赞誉的MOL 7 Billion的系统。这个模型的开发者对其进行了精细调优，创建了这个令人惊叹的角色扮演模型。

2024-08-13 12:27:42 837

原创探索AI角色扮演的新前端工具：SillyTavern

通过以上步骤，你已经学会了如何在Windows系统上安装SillyTavern，并通过它连接到基于Ollama托管的LLM进行角色扮SillyTavernnt的轻量级设计和高效的API调用机制，使得它成为了AI角色扮演的理想前端工具。关注我，每天带你开发一个AI应用，每周二四六直播，欢迎多多交流。

2024-08-12 12:53:42 13580 1

原创【无标题】

Flux Pro：这是Flux系列中性能最强的版本，通过API提供最佳的图像生成质量和多样性。它适用于需要高精度和高质量图像生成的商业应用。Flux Dev：这是一个开源的指导模型，适用于非商业应用，效率更高，权重可以在Hugging Face上找到。这个版本为开发者提供了更多的灵活性和自由度。schnell：这是一个为本地开发和个人使用优化的最快版本，公开使用Apache许可证。它的目标是为个人用户和小型开发团队提供一个高效且易于使用的工具。schnell模型的发布无疑是生成式AI领域的一个重大突破。

2024-08-11 08:00:00 1244

空空如也

空空如也