在数字化道路无限探索

一个编排并运行成功的工作流并不意味着结束，想要这个工作流能够在AI应用中被调用，还需要做好工作流的配置，配置用于机器识别/模型理解的API调用名称和描述，选定入参方式补充入参描述后方可完成。支持对编排完成后的工作流进行运行调试，输入“开始”节点配置的入参，可对工作流全流程进行运行，逐步追踪每个节点的运行状态、输入/输出和数据信息，具备全链路的数据跟踪，让你轻松定位节点异常，用于反复调试工作流节点中的配置信息。节点是工作流中的关键构成，通过不同功能的节点，可以执行工作流的一系列操作。下面就来依次了解一下吧！

首先，在包含脏数据的数据集（网上爬取的数据+人工标注的数据）上进行预训练，然后在ITC和ITM任务、LM任务上分别微调，分别得到1个图文匹配的检测模型，1个caption的生成模型。当我们谈到“跨模态大模型”时，例如视觉-语言大模型，指的是那些可以同时处理和理解图片（视觉）和文字（语言）信息的模型。有兴趣的伙伴可以挑选感兴趣的模型对应的文献进行深入学习，这里值得一提的是，阿里的Qwen-VL是一个多语言的跨模态大模型，支持中文和英文，并且在训练的时候允许输入多个图像，提高其理解视觉上下文的能力。

而GLM-4-9B-Chat就更有意思了，一方面是生成了错误的工具名称，错误类型为simple_function_checker:wrong_func_name，检查原因发现，在绝大多数情况下模型生成的工具名称，与原工具名称仅有一个字符之差，例如对本该调用的math.factorial工具，响应成了math_factorial，这表明模型的指令遵循能力有待提升，与Qwen2-7B-Instruct形成了鲜明的对比。工具调用指的是智能体通过运用外部工具和资源，增强自身处理问题的能力，从而实现更为复杂的任务。

优质的内容和训练参数的数量级都会影响模型的能力和输出质量，但知识库的构建会基于某个时间点的数据，模型的训练也可能在之后的时间完成，这带来不可避免的滞后性和时效性。一个常见的场景是用户输入一个指向性十分具体的问题，比如查询某年月日发生的事件的内容，这种情况下不需要任何生成的“创新”，使用传统检索的方式可能会更好，但如果依然使用向量检索，在向量数据库中本身就存有大量关联性的数据，在这种关联数据过于紧密的情况下反而会分散LLM的注意力，导致输出结果并不理想。切的太小也会造成输出质量的下降——相关性内容会丢失。

直白点说，一个大的任务，可以根据步骤拆分为许多小的步骤，每个小步骤可以给多个Agent去协作完成，每个Agent可以选择适合的大模型和工具。CrewAI 中的工具是一种技能，代理可以使用它来执行任务，目前这些工具可以是crewAI Toolkit和LangChain Toolkit的工具，这些基本上是代理可用于各种操作的功能，从简单的搜索到复杂的交互外部系统。总的来说，CrewAI框架易于使用，用户只需关心我们需要做什么，将其拆分成子任务，定义好对应角色的Agent, 其他的丢给Crew团队去执行。

然而，SQL的复杂性往往成为非技术用户难以跨越的障碍，为了解决这一问题，Text2SQL技术应运而生，它允许用户通过自然语言与数据库交互，大幅降低了数据分析的门槛。在模型训练阶段，需准备充足的 SQL、DDL 以及文档数据，这些数据应能准确描述表结构、字段含义、表与表之间的关联字段，以及特殊字段和业务术语的解释。在图2中，更改提问内容后，通过将 DDL、文档数据（doc）和 SQL 作为提示词输入到大模型，模型成功生成了正确的三表关联 SQL 查询，并对输出字段进行了准确的调整，最终生成了符合要求的结果。

通过流式传输，使模型在token可用时立即开始返回, 而不是等待整个token序列生成完毕。虽然这并不会改变获取所有token所需的时间，但它减少了获取第一个token的时间，对于希望显示部分进展或可能会中途停止生成的应用程序来说，这是一个更好的用户体验。

简单清晰，一读就懂

除此之外，在Workspace页，可以添加提示词(Prompt)，在聊天界面通过@，#等命令引用对应的文档，提示词，让用户可以更高效的和大模型沟通。再看应用程序对应的文件，相应目录下确实存在webiu.db文件，存的是交互的数据，包含聊天记录，授权信息等，前面演示聊天上传的文件也在另外一个目录下。启动成功，浏览器访问 http://localhost:3000/，首次注册的用户为系统管理员，登录之后页面如下图，开始聊天之前选择想要的模型，就可以开始和大模型对话了。数据都存储在本地，也不用担心安全问题。

但是对于大模型的对话，模型并没有人脑这样的能力，在用户进行多轮对话时，用户的简短提问可能会指代上文中的部分信息，如果仅用当次问题去问答，会使对话效果不佳，大模型答非所问，效果较差。QA增强的目的旨在提高模型的回复效果，从而获得更有效的信息。根据历史轮和当前轮的对话，从候选会话历史的集合中找到最适合对应指代位置的答案，然后将指代具体化，或者预测指代可能的具体内容以补全省略信息。在上面的场景中，我们需要了解RAG的相关知识，在后续对话中的指代和省略的内容需要替换成RAG的相关描述，在检索阶段搜索到有效的信息。

最强入门干货！

模型基于BERT的架构，利用其强大的双向上下文表示能力。Joint BERT模型的优化目标是最大化条件概率p(yi, ys|x)，即给定输入x时，意图yi和槽位序列ys的联合概率。意图识别在诸多领域已经有了非常广泛的应用，例如各个品牌的智能语音助手，如今多模态模型能力迅猛增长，与LLM交流方式变得多样化，为了给LLM提供高质量有价值的上下文嵌入信息，引入意图识别变得尤为重要，其不仅能够过滤掉大部分无用但又不得不加入pipline的工具，还可以极大优化整个pipline的响应时间以获得更好的用户体验。

web环境中页面内嵌渲染PDF，高亮搜索文档中的段落

在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化

当一个新事物的出现，最好的办法就是了解它出现的背景，发展的历史。当ChatGPT出现在我们面前，多轮对话能力让人震惊，仿佛机器真的可以"理解"人类语言。不同于当时Siri一样的语音助手，ChatGPT的准确率相比之下非常高。于是一夜之间AI的浪潮袭来，时至今日各个厂商相继公开自己的大模型并不断迭代：GPT-4-Turbo, Qwen-Max，智谱清言GLM-4等。AI能力也从最初的对话型衍生出多种：图片生成，语音识别，文档解析，代码补全，视频生成，AI搜索……

ChatGPT、文心一言、Kimi...究竟谁能拔得头筹？

一个好用的开源工具

LLM Agent之所以受到广泛关注，是因为它代表了人工智能领域在处理和生成自然语言方面的最新进展，能够执行复杂的语言任务，如翻译、摘要、问答等，极大地推动了人机交互和自动化内容创作的边界。而LangGraph提供了一种创新的方法来增强LLM的语义理解和生成能力，通过构建和利用语言的图谱结构，LangGraph有助于提高模型对语言细微差别的捕捉能力，从而在各种语言任务中实现更准确、更自然的表现。本篇文章带大家一起，真实地上手尝试一下。

也就是OpenAI中列举的模型中以gpt-3.5-turbo和gpt-4开头是ChatOpenAI 支持的模型，其余都是OpenAI支持的模型。在探索LangChian的ChatOpenAI 和 OpenAI这两个类时，了解到这两个类使用OpenAI接口不一样， OpenAI使用的是/v1/completions接口，而ChatOpenAI 使用的是/v1/chat/completions。OpenAI提供了一系列强大的机器学习工具和算法，适用于广泛的应用领域，并且能够满足复杂的研究和开发需求。

自动合并检索方法，实现方法源自Llamaindex所封装的自动合并检索，但RAG全流程需要制定一套准确的规范，因此在用户文档完成读取和切片工作后，所得到的Langchain格式的Document对象需转化为Llamaindex定义的Document对象，便可通过Llamaindex的自定义算法自动划分整个切片列表的子节点和父节点，最后鉴于规范再重新转化为Langchain格式的Document对象，并将父节点信息、深度信息等封装进每个节点。由此可见，多路召回检索在数据源广而杂的情况下，富有更好的效果。

文末赠书

一次性完成AI基础知识扫盲✔

本文介绍了如何在无GPU环境下，通过安装Docker、Ollama、Anaconda并创建虚拟环境，实现大模型的本地运行。安装完成后，启动API服务并进行测试，确保模型的高效稳定运行。Ollama的本地部署方案为没有GPU资源的用户提供了便捷的大模型运行方案。系统推荐使用Linux，如果是Windows请使用WSL2（2虚拟了完整的Linux内核，相当于Linux）ollama本身提供了API服务，但是流式处理有点问题，python版本的没问题，这里以一个api_demo为例对齐chatgpt的api。

在魔塔社区中我们可以使用空间功能来快速的上线自己的代码使用AI的能力，那么如何在同一个域名下来区分不同用户上线的服务呢？

Agent是一个超越简单文本生成的人工智能系统。它使用大型语言模型（LLM）作为其中央计算引擎，使其能够进行对话、执行任务、推理并显示一定程度的自主权。

AI视频的新亮点

随着近几年AIGC的发展，不仅是大模型自身在不断优化，相关支持应用也在不断涌现。本文的主角便是这些技术中较为引人注目的RAG(Retrieval-Augmented Generation)——检索增强生成技术。LLM虽然已经在通识领域展现出了惊人的能力，但要落实到真正具体的问题解决，特别是针对专业领域，企业领域的一些具体的，私人的数据生成解决方案，仅仅依靠LLM还是远远不够的。

2024年人工智能究竟会走向何方？

实践才是硬道理

内附【600页AI+数字化转型干货】年度技术合集下载

深度学习是近年来人工智能领域最热门的话题之一，那究竟什么是深度学习呢？

以经典的嵌入模型 word2vec 为例，演示一段文本是如何转化为 n 维向量的

你可以用langchain做一个属于自己的人工智能应用~

干货步骤，一键解锁

Langflow快速集成Milvus

实现更高效、智能的项目管理

AIGC是一种自动化的内容创作方法，指的是使用人工智能算法创造的任何类型的内容。在23年初，大家的视野范围内突然出现了一种叫ChatGPT的产品，这是由OpenAI研发的一种基于深度学习和自然语言处理技术的文本生成模型。随着ChatGPT等AI技术的火爆，越来越多的人开始关注AIGC的发展，并认识到其对人类社会的重要性和贡献。然而，随之而来的也是一系列的伦理和风险问题。对于新技术的到来，我们应当努力去学习接受，同时也需要逐步建立和完善针对AIGC的法律体系和技术规范，以保障其健康、有序和负责任的发展。

一键搜索相似图像

轻松Get智能小助手

学会用AI来优化你的代码