blues_C的博客

DeepEval 作为一个强大的 LLM 评估框架，提供了简单易用的接口和丰富的评估指标，能够帮助测试人员快速构建和运行评估测试。

在LLM应用场景中，文本摘要是一个非常重要的任务。如何确保模型生成的摘要既准确又完整？继上一篇介绍答案相关性评估后，本文将详细介绍如何使用 DeepEval 框架评估 LLM 的摘要能力。我们将通过实例演示如何设置评估问题、运行测试，并解读测试结果。

LLM在回答问题时可能会产生"幻觉"，即生成与事实不符的内容。这种现象会严重影响模型的可靠性和实际应用价值。本文将重点讲解如何使用 DeepEval 框架检测和评估 LLM 的幻觉问题。

本项目是一个基于 Streamlit 构建的交互式 Web 应用，利用大语言模型 (LLM) 和检索增强生成 (RAG) 技术，辅助完成各种软件测试任务。用户可以输入需求描述，选择性地通过知识库和历史数据增强上下文，从而生成需求规格说明书测试用例测试建模文档、和测试报告。

传统的自动化测试，高度依赖开发者手动编写和维护脚本，不仅耗时巨大，且脚本脆弱性高，一旦页面结构或元素发生细微变化便可能失效。随着 MCP（Model Context Protocol）协议的出现，大语言模型（LLM）与自动化工具的协同得以实现。现在，我们能够通过自然语言向工具下达指令，让其自动完成复杂的浏览器操作。

BrowserTools MCP 是一款由AgentDesk团队开发的工具，通过AI技术提升浏览器调试和自动化操作的效率。它通过将AI代码编辑器与浏览器深度集成，提供控制台日志、网络请求、DOM结构、页面截图等数据的采集与分析，并支持自动化操作、智能诊断和优化建议。

传统的Web自动化工具（如Selenium、Puppeteer等）虽然强大，但往往需要编写大量脚本，门槛较高。而Nanobrowser的出现，为AI Web自动化带来了全新的交互体验——只需一句自然语言指令，即可驱动多智能体协作完成复杂网页任务。本文将深入介绍Nanobrowser的功能、安装配置及实战案例，帮助你快速上手并高效利用这一开源AI Web自动化利器。

browser-use是一个Python库，它能够帮助我们将AI代理与浏览器自动化操作结合起来；通过这个库，我们可以定义AI代理的任务，允许其在浏览器中执行特定操作，如访问网页、点击按钮、填写表单、提取网页信息等；browser-use结合了浏览器自动化（Playwright）工具，能够提供稳定的跨平台支持，使得我们能够在不同操作系统上运行自动化任务。

Web UI是在Browser-Use的基础上，加上了UI操作界面，同时也对一些功能进行了扩展，降低了使用门槛。它允许开发者通过图形界面与 AI 模型进行对话，同时支持包括OpenAI、Anthropic、Gemini等在内的多种大型语言模型。与传统的浏览器交互相比，这种方式更便于执行复杂的网页操作和数据采集。不仅如此，WebUI 还提供了支持自定义浏览器的功能，无需重复登录或认证，直接利用现有浏览器数据执行任务。

Midscene.js 是一款开源的AI驱动UI自动化工具，支持自然语言交互、数据提取、断言验证等多种功能。自然语言交互。本文将以 Midscene.js Chrome 插件为例，带你从零上手，体验如何用最简单的方式实现高效、智能的UI自动化测试。

mabl是一个基于人工智能和机器学习的云原生测试自动化平台。它通过使用先进的技术，如机器学习，自动创建和执行测试，自动分析测试结果，并根据需求的变化自动适配和维护测试。这样的自动化过程极大地提高了软件测试的效率和准确性。mabl的口号是 “You write code, mabl tests”，意味着开发者只需关注编写代码，而测试工作则可以交给mabl来完成。mabl的平台支持多种测试类型，包括 Web、App、Api、可访问性和性能测试，使得团队能够更快速、更有信心地发布软件。

生成式人工智能软件测试初创公司 BlinqIO 打造了业界首个生成式 AI 测试平台，由专有的大型语言模型提供支持，采用生成式人工智能技术，并宣称该平台可以替代手工测试工程师；它能够理解软件测试的需求、可以自行创建测试自动化代码，并完全自主地维护该代码；它可以在无需任何监督的情况下，执行测试脚本和维护测试任务。

传统的测试自动化创建流程，通常需要耗费大量的时间与精力，而TestCraft这款开源且免费的浏览器扩展程序，为测试人员提供了革命性的解决方案；TestCraft 基于 GPT-4 强大的 AI 能力，不仅能够生成全面的测试想法，还能自动化生成适配 Playwright、Selenium 和 Cypress 等流行框架的测试脚本。TestCraft 是测试人员不可或缺的智能助手。无论是生成测试想法、自动化测试脚本，还是进行可访问性检测，它都能提供无缝、强大的支持。

Magnitude，作为一款开源、AI原生的Web自动化测试框架，它通过视觉AI和自然语言驱动的测试用例，极大地提升了测试的智能化和易用性。

Skyvern 是一个开源的自动化平台，结合了大型语言模型（LLM）和计算机视觉（CV）技术，能够像人类一样理解和操作网页。它支持自动化表单填写、按钮点击、复杂页面结构识别、动态内容处理以及多步工作流的执行。

testRigor是一款基于人工智能驱动的无代码自动化测试平台，它能够自动生成测试用例，无需人工编写测试脚本。它能通过分析应用的行为模式，智能地设计出覆盖面广、针对性强的测试场景。官方网址。

LangManus 是一个开源的 AI 自动化框架，基于分层多智能体系统设计，目的在于将LLM与各类（如：代码执行、网络搜索、浏览器自动化和文件处理等）工具相结合，以完成复杂任务。LangManus 支持多种LLM，包括开源模型和闭源模型的 API 接口。它可以根据任务的复杂度自动选择合适的模型，并通过提示词管理工具将用户输入和其他外部数据转化为适合语言模型的提示词，从而实现多样化的任务执行。

模型上下文协议 (MCP) 是一种标准化协议，可将 AI 代理连接到各种外部工具和数据源。可以将其想象为 USB-C 端口 - 但适用于 AI 应用程序。模型上下文协议 (MCP)是一种将 AI 代理连接到各种外部工具和数据源的标准化协议正如 USB-C 简化了您将不同设备连接到计算机的方式一样，MCP 简化了 AI 模型与您的数据、工具和服务交互的方式。MCP： AI代理与外部数据/工具动态交互的统一接口API：传统方法，需要个性化集成和更多人工监督MCP 提供了一种统一标准化。

前往 Cursor 官网，选择适合的操作系统版本（支持 Windows、Mac 和 Linux）进行下载。

FastMCP 的主要优势在于其简单性和 Python 风格的接口。我们可以专注于构建有用的工具和数据接口，而无需关心底层的 MCP 协议细节和服务器管理。这使其成为快速构建 LLM 增强应用的理想选择。

OpenManus是由 MetaGPT 社区成员开发的Manus开源版本。与 Manus 相比，OpenManus 的主要优势在于其本地化部署能力，用户可以在个人电脑上运行 AI 代理，并观察其执行任务的过程。

OWL 是一个多智能体协作框架，是在 CAMEL-AI 框架上构建的，目的在于使用 AI 智能体协作解决现实任务的方式。通过利用动态智能体交互，OWL 实现了跨多领域的高效、稳健的任务自动化。

这篇文章的标题是《关于AI和测试自动化的真相》，作者是RAJ SUBRAMANIAN。文章主要讲述了软件测试在过去几十年的演变，以及人工智能在测试自动化中的应用和影响。软件测试在过去几十年中逐渐演变。在过去，团队习惯于采用瀑布模型：从需求到产品部署，一切都是顺序进行的。只有在开发阶段完成后，测试人员才能接触到产品。历史上，测试人员在这个阶段会发现许多错误，需要大量的重新设计和重工来修复它们。这导致了大量的浪费，包括时间、努力和成本，以及团队士气。

将网页信息输入到大语言模型（LLM）是一个技术挑战。虽然最简单的方法是直接抓取原始 HTML 内容，但这种方式往往不适合直接输入到 LLM 中；在实际抓取时，可能会遇到多种复杂情况，包括网页抓取被反制、HTML 页面中混杂着无关的标记、脚本及样式等，这些都会影响信息提取的质量；Jina AI 是一家专注于搜索与人工智能的创新公司，致力于提供先进的搜索解决方案。其技术帮助开发者和企业构建高效且智能的搜索系统，能够处理多种数据类型并满足复杂查询的需求；

本文将摒弃复杂的理论，专注于实践操作。我将一步步地指导你，从环境搭建到代码编写，最终构建一个功能完善的智能聊天机器人。通过实际操作，你将更快地掌握Deepseek和OpenAI的API使用方法，并对智能对话系统的底层原理有更深刻的理解。

AI大模型，通常指的是规模非常庞大的机器学习模型。深度学习是其核心技术，通过多层神经网络结构模拟人脑的工作方式，允许模型从海量数据中自动学习和提取特征；这些模型的特点在于参数数量极其庞大，它们在预训练阶段就已经学习了大量通用的知识，之后可以通过微调适应各种特定任务；它们在多个领域都有广泛的应用，比如自然语言处理、文本生成、图像识别、语音识别等。

人工智能（AI）的迅猛发展使得自然语言处理（NLP）领域取得了显著的进展。在这些进展中，大语言模型（Large Language Models, LLM）无疑是其中的佼佼者。本文将详细介绍什么是大语言模型，它们的工作原理，常见的应用场景，并通过具体的示例来展示它们的强大功能。大语言模型是基于深度学习技术的自然语言处理模型，可以生成自然语言文本或理解语言文本的含义，可以生成自然语言文本或理解语言文本的含义。这些模型通常经过海量文本数据的训练，能够捕捉语言中的复杂结构和语义关系，从而在多种语言任务中表现出色。

在人工智能领域，AI-Agent 逐渐成为一种重要的新形态。AI-Agent 具备环境感知能力、自主理解、决策制定及执行行动能力。简而言之，它是构建于大模型之上的计算机程序，能够模拟独立思考过程，灵活调用各类工具，逐步达成预设目标。本文将详细介绍AI智能体的概念、架构设计及其应用案例，帮助大家更好地理解这一前沿技术。

在人工智能和自然语言处理的领域中，“Token”是一个基础且至关重要的概念。对于这个术语的翻译，各有不同的见解，包括“标记”、“词”和“令牌”。本文将详细探讨在大语言模型中，Token的含义、作用、不同的Tokenization技术，以及如何有效地理解和应用。Token是大语言模型中用来表示文本片段的基本单位。它可以是一个汉字、一个英文单词、甚至是多个字符组成的序列。

1. 什么是 LangChain？2. LangChain 的组件3. LangChain 的架构3.1 数据处理模块3.2 模型管理模块3.3 应用接口模块3.4 监控与管理模块4. LangChain 的核心功能4.1 自动数据清洗4.2 预训练模型集成4.3 模型优化与调优4.4 可视化工具4.5 一键部署5. LangChain 的应用场景5.1 智能客服5.2 内容生成5.3 情感分析5.4 翻译和摘要6. 如何使用 LangChain6.1 安装 LangChain6.2 数据准备。

Prompt 通常指的是提供给AI模型的输入，用以引导模型生成特定的输出。在AI测试中，Prompt可以是一段文本、一个问题、一个指令或者任何形式的数据，它们用来激发AI模型进行特定的操作或回答。

AIGC（AI Generated Content）是指利用人工智能技术生成的各种类型的内容，包括文本、图像、音频和视频等。

随着人工智能技术的迅速发展,大型语言模型(LLM)在各个领域展现出惊人的能力。但这些模型也存在一些固有的局限性,如知识更新不及时、无法访问专有信息等。为了克服这些限制,研究人员提出了RAG(Retrieval-Augmented Generation,检索增强生成)技术；RAG技术通过将检索系统与生成模型相结合,有效地提高了AI系统的准确性、时效性和可控性。它不仅能够让AI模型访问最新的信息,还能够让模型基于特定的知识库生成回答,大大增强了AI应用的实用性和可靠性。

传统的RAG方法主要依赖于从大量文档中抽取文本片段来辅助LLM生成答案或内容。但这种方法存在一定的局限性，如缺乏足够的上下文信息、事实准确性和语言精确性等。为了解决这些问题，Graph RAG作为一种新兴的方法应运而生。Graph RAG（Graph Retrieval-Augmented Generation）是在传统的RAG基础上发展起来的，它通过引入图数据库技术，更加丰富和结构化的上下文信息，增强了LLM的理解深度和准确性。

向量数据库是一种专门用于存储和处理非结构化数据的技术。通过将文本、图像、音频等数据转换成高维向量嵌入的形式，向量数据库能够捕捉数据点之间的语义联系。知识图谱是一种以节点和边的方式表示数据的技术，构建起一个庞大而复杂的网络来存储和管理信息。

随着人工智能技术的飞速发展，大型语言模型（LLM）在各个领域中的应用越来越广泛。无论是自然语言处理、图像识别还是决策支持系统，LLM 都展现出了巨大的潜力和价值。为了有效地评估和利用这些模型，我们需要一套科学、系统的评估指标。

微调（Fine-tuning）是深度学习领域中常见的技术，尤其在大规模预训练模型（LLM，Large LanguageModel）中被广泛应用。微调的核心思想是，通过使用特定领域的数据，进一步训练已经预训练好的模型，使其在该领域内表现更加出色。简单来说，预训练模型类似于一位博学的通才，而微调则是将这位“通才”训练成某个特定领域的“专家”。

在 LLM 处理信息时，文本被分解成一系列的标记（tokens），这个过程称为标记化（tokenization）。然后给模型提供每个标记在原始文本中的位置信息，这个过程称为位置编码（position encoding）。经过标记化和位置编码后，模型会处理这些结构化信息。

LLM 的基准测试是一种评估 LLM 的标准化方法，通过使用预定义的数据集、任务和评估指标，对LLM 在特定任务上的表现进行量化评估，比较不同模型之间的差异。基准测试可以帮助研究人员和开发者了解不同AI模型在特定任务上的表现，以便选择最合适的AI模型。AI模型基准测试是AI领域研究和开发中不可或缺的一部分。它不仅有助于评估和比较不同模型的性能，还能促进模型的优化和AI技术的进步。

在编写测试用例时，测试人员经常会面临边界测试缺失、场景覆盖不全和用例重复等问题。随着人工智能技术的发展，我们可以通过ChatGPT来辅助编写测试用例，提高编写测试用例的效率和质量。