- 博客(41)
- 收藏
- 关注
RSS订阅原创 自然语言处理：文本聚类
文本聚类在自然语言处理领域占据着重要地位，它能将大量无序的文本按照内容的相似性自动划分成不同的类别，极大地提高了文本处理和信息提取的效率。就好比在一个大型图书馆中，文本聚类能够像智能管理员一样，把各种书籍按照主题分类摆放，方便读者快速找到所需资料。而实现文本聚类的方法有很多，其中k均值聚类算法、基于高斯混合模型的最大期望值算法，以及无监督朴素贝叶斯模型是比较常用的。好了，话不多说，我们直接进入正题。
2025-03-13 22:48:57
2945
原创 自然语言处理：主题模型
在自然语言处理(NLP)的广袤领域中，主题模型作为一种强大的工具，能够从大量文本数据中自动挖掘出潜在的主题结构。它为我们理解文本集合的语义内容提供了有力的支持，在信息检索、文本分类、文本摘要等众多任务中发挥着关键作用。
2025-03-11 22:58:37
1217
原创 自然语言处理：无监督朴素贝叶斯模型
在自然语言处理(NLP)的领域中，数据的多样性和复杂性使得挖掘有价值信息成为一项极具挑战的任务。无监督朴素贝叶斯模型作为一种独特且实用的算法，在处理文本数据时展现出了显著的优势。它无需依赖大量标注数据，就能对文本进行分类、聚类以及主题提取等操作。在实际应用中，无监督朴素贝叶斯模型主要用于文本聚类和主题模型挖掘。就好比我们有一堆杂乱无章的书籍，文本聚类就像是把这些书籍按照不同的主题分类整理，方便我们查找和阅读；而主题模型挖掘则像是从这些书籍中提炼出核心的主题，让我们能快速了解这堆书籍的大致内容。
2025-03-10 22:01:05
1442
原创 自然语言处理：最大期望值算法
最大期望值算法，英文简称为EM算法，它的核心思想非常巧妙。它把求解模型参数的过程分成了两个关键步骤，就像一场接力赛，期望(E)步骤和最大化(M)步骤相互配合，不断迭代。在期望步骤中，算法会根据当前模型的参数，对那些隐藏的变量进行 “猜测”，计算出它们的期望值。
2025-03-09 20:01:07
1434
原创 自然语言处理：高斯混合模型
大家好，博主又来给大家分享知识了，今天给大家分享的内容是自然语言处理中的高斯混合模型。在自然语言处理这个充满挑战与机遇的领域，我们常常面临海量且复杂的文本数据。如何从这些数据中挖掘出有价值的信息，对文本进行有效的分类、聚类等操作，一直是研究人员和从业者努力攻克的难题。而高斯混合模型，就像是一把神奇的钥匙，为我们打开了一扇深入理解和处理文本数据的新大门。高斯混合模型，英文简称为。它并不是一个单一的模型，而是多个高斯分布的巧妙组合。好了，话不多说，我们直接进入正题。
2025-03-07 13:51:02
1336
原创 自然语言处理：k均值聚类算法
在自然语言处理(NLP)领域，对大量文本数据进行有效的组织和分析是一项重要任务。k均值聚类算法(k-Means Clustering Algorithm)作为一种经典的无监督学习算法，在文本聚类、主题模型挖掘等方面发挥着关键作用。
2025-03-06 15:02:37
1569
原创 自然语言处理：文本分类
这些预先设定的类别可以是诸如新闻领域中的政治、经济、文化、体育等主题分类；电商场景里的产品好评、差评、中评的情感分类；或者是垃圾邮件识别中的正常邮件与垃圾邮件分类等。文本分类通过对文本信息的理解和分析，实现对文本的有效组织与管理，从而为信息检索、情感分析、内容推荐等自然语言处理任务提供支持。
2025-03-05 23:53:38
2344
6
原创 自然语言处理：逻辑斯谛回归
在自然语言处理(NLP)领域，文本分类、情感分析等任务是理解和处理人类语言的关键环节。逻辑斯谛回归(Logistic Regression)作为一种经典的机器学习算法，在这些任务中发挥着重要作用。它虽然名为“回归”，但主要用于解决分类问题。
2025-03-04 13:28:07
1211
原创 自然语言处理：朴素贝叶斯
在自然语言处理(NLP)领域，文本分类、情感分析等任务至关重要，而朴素贝叶斯算法作为一种经典的机器学习方法，在这些任务中占据着重要地位。它基于贝叶斯定理和特征条件独立假设，具有原理简单、计算效率高的特点，能快速处理大规模文本数据。
2025-03-03 20:25:05
1035
原创 自然语言处理：文本表示
在自然语言处理(NLP)中，文本表示是将人类自然语言文本转化为计算机能够理解和处理的形式的过程，其目的是用一种合适的数据结构或数学模型来表达文本的语义、语法等信息，以便后续进行各种自然语言处理任务。文本表示是自然语言处理的基础和关键步骤，合适的文本表示方法能够显著提高自然语言处理任务(如文本分类、机器翻译、信息检索等)的效果。
2025-03-02 23:45:06
1221
原创 自然语言处理：词频-逆文档频率
在自然语言处理(NLP)领域，理解文本数据的含义并从中提取有价值的信息是核心任务。TF-IDF(Term Frequency-Inverse Document Frequency)作为一种重要的统计方法，在文本表示、文本分类、信息检索、关键词提取等众多任务中发挥着关键作用。
2025-02-28 15:41:12
1165
原创 自然语言处理：稠密向量表示
在自然语言处理(NLP)领域，如何将文本有效地表示为计算机能够处理的形式一直是关键问题之一。稠密向量表示作为一种重要的文本表示方式，在近年来得到了广泛的应用和研究。与稀疏向量表示(如独热编码、词袋模型等)不同，稠密向量表示能够将每个词映射为一个低维、连续且密集的向量，从而更好地捕捉词与词之间的语义关系，为自然语言处理任务带来更强大的表现力。
2025-02-28 13:21:41
1436
原创 自然语言处理：稀疏向量表示
稀疏向量表示是指运用特定的方法和技术，将数据（如文本、图像、信号等）转化为向量形式，且该向量具有大部分元素值为零，仅少数元素值非零的特征，以此来实现对数据的高效存储、处理和分析。
2025-02-27 22:00:23
1205
原创 自然语言处理：文本规范化
自然语言处理中的文本规范化，是指对原始文本进行一系列处理操作，使其具有统一、标准的格式和表达形式，以提高后续自然语言处理任务(如文本分类、信息检索、机器翻译等)的准确性和效率。
2025-02-27 15:23:03
1575
原创 自然语言处理：初识自然语言处理
自然语言处理(NLP)是一门融合计算机科学、语言学等多领域知识的交叉学科，旨在让计算机理解、处理和生成人类自然语言。在理解层面，它要让计算机像人一样读懂文本或语音中的含义。比如能分析出一句话表达的是开心、生气等情绪，或是提取出关键信息，像从新闻里找出事件发生的时间、地点和主要人物。处理过程中，会运用各种技术和算法。像对文本进行分词，把一句话拆分成一个个词语；词性标注，判断每个词是名词、动词等；还有句法分析，分析句子的语法结构。这些操作能让计算机更好地梳理语言信息，为后续的应用做准备。
2025-02-26 11:16:25
1407
原创 LangChain大模型应用开发：LangGraph快速构建Agent工作流应用
我们先来看工具定义这一步。在这个简单示例里，我们们会用到搜索工具Tavily。借助这个工具，能方便地获取各类信息。接下来，我们要创建执行任务的执行代理。在这个示例里，为了便于演示，每个任务都将使用同一个执行代理。不过大家要知道的是，这只是讲解中的一种选择，并非固定规则。在实际的复杂场景或不同类型的任务中，我们可以根据任务的特点、需求和复杂程度等因素，灵活选择使用不同的执行代理，以更好地完成各类任务。# 从langchain库中导入hub模块，用于从LangChain Hub拉取资源。
2025-02-25 18:51:07
2078
2
原创 LangChain大模型应用开发：LangGraph快速入门
return END根据当前对话状态判断是否需要继续调用工具。如果最后一条消息包含工具调用，则返回"tools"继续调用工具；否则返回END表示工作流结束。从传入的状态中获取消息列表，调用 chat_model 处理消息，并返回包含模型响应的新状态。
2025-02-24 16:48:17
1612
原创 LangChain大模型应用开发：基于RAG实现文档问答
大家好，博主又来给大家分享知识了。随着大模型应用的不断发展，很多开发者都在探索如何更好地利用相关工具进行开发。那么这次给大家分享的内容是使用进行大模型应用开发中的基于实现文档问答的功能。好了，我们直接进入正题。
2025-02-24 13:11:57
1413
原创 LangChain大模型应用开发：构建Agent智能体
在LangChain中，Agent智能体是一种能够根据输入的任务或问题，动态地决定使用哪些工具(如搜索引擎、数据库查询等)来解决问题的程序。它可以理解自然语言指令，并利用工具获取更多信息，最终生成解决方案。Agent智能体具备推理和决策能力，能够在不同的工具和操作之间进行选择，以达到最佳的问题解决效果。
2025-02-23 00:21:52
2662
原创 LangChain大模型应用开发：自定义工具调用
在LangChain的应用开发中，自定义工具是实现灵活且强大功能的关键要素之一。尤其是在构建智能体(Agent)时，工具的合理配置和使用至关重要。智能体就像是大模型的 “助手”，能够代表大模型执行各种特定任务。而自定义工具则为这个 “助手” 提供了多样化的 “工作器具”，让其能够更好地应对不同场景下的需求。接下来我介绍在构建智能体时自定义工具的相关内容。在构建智能体时，我们需要为其提供一个Tool列表，以便智能体可以使用这些工具。除了实际调用的函数之外，Tool由几个组件组成：属性类型描述。
2025-02-21 14:55:17
1492
2
原创 LangChain大模型应用开发：多模态输入与自定义输出
在LangChain中，自定义格式输出是指按照特定需求对模型生成的结果进行格式化处理，以满足实际应用的多样化需求。这一功能非常实用，因为语言模型的输出往往是通用的文本形式，而实际使用中可能需要将其转换为特定的数据结构、字符串格式或其他应用程序易于处理的形式。
2025-02-20 16:45:05
1281
原创 LangChain大模型应用开发：消息管理与聊天历史存储
我们也可以以其他方式使用相同的模式。例如，我们可以使用额外的LLM调用来在调用链之前生成对话摘要。# 根据消息列表创建一个聊天提示模板"system","你是一个乐于助人的助手。尽力回答所有问题。提供的聊天历史包括与您交谈的用户的事实。",),# 将提示模板和聊天模型组合成一个可运行的链# 创建一个带有消息历史功能的可运行对象# 传入前面组合好的链chain,# 一个函数，用于根据会话ID获取聊天历史记录，这里直接返回之前创建的聊天历史对象# 指定输入消息的键名# 指定历史消息的键名。
2025-02-19 23:00:31
1265
原创 LangChain大模型应用开发：服务部署
LangServe帮助开发者将LangChain可运行和链部署为REST API。该库集成了FastAPI并使用pydantic进行数据验证。Pydantic是一个在Python中用于数据验证和解析的第三方库，而现在却是Python中使用广泛的数据验证库。Pydantic利用声明式的方式定义数据模型和Python类型提示的强大功能来执行数据验证和序列化，使我们的代码更可靠、更可读、更简洁且更易于调试。Pydantic还可以从模型生成JSON架构，提供了自动生成文档等功能，从而轻松与其他工具集成。
2025-02-19 12:45:03
1511
3
原创 LangChain大模型应用开发：工作流编排
大家好，博主又来给大家分享知识了，那么今天又给大家分享什么内容呢？今天我要给大家分享的内容是。
2025-02-17 16:33:27
1899
2
原创 LangChain大模型应用开发：提示词工程应用与实践
大家好，博主又来给大家分享知识了。今天给大家分享的内容是LangChain提示词工程应用与实践。在如今火热的大语言模型应用领域里，LangChain可是一个相当强大且实用的工具。而其中的提示词(Prompt)，更是我们与语言模型进行有效沟通的关键桥梁。简单来说，提示词就是我们输入给语言模型的文本内容，通过精心设计这些文本，我们能够引导模型输出符合我们特定需求的结果。无论是完成一项任务、解答一个问题，还是获取特定信息，都离不开它的重要作用。更值得一提的是，LangChain。
2025-02-16 21:23:34
1527
原创 微软AutoGen实战：旅行规划
它定义了多个具有不同功能的智能体(旅行规划助手、本地活动推荐助手、语言小贴士助手和旅行计划总结助手)，这些智能体通过循环轮询的方式进行对话交流，最终共同生成一份完整的旅行计划。我们的旅行规划工具将利用多个智能体(Agent)，每个智能体都有特定的职责，它们将协同合作来制定出一份全面的旅行行程安排。首先根据用户需求生成了一份初步的旅行计划，涵盖了三天内每天不同时段的景点安排、美食体验等内容，为后续的讨论和完善提供了基础。
2025-02-14 12:48:58
838
原创 微软AutoGen高级功能：Serializing Components
序列化是将对象(这里的组件可以是智能体、工具、记忆模块等各种 AutoGen 中的实体)的状态信息转换为一种可存储或可传输格式(如 JSON、字节流等)的过程。好了，本次的全部内容就分享到这，本次的分享的内容不是很多，但是还是希望大家能够理解并运用到实际项目开发过程中，或者给大家一个思路和方案，这也是博主分享的目的。，博主在分享这篇博文的时候，
2025-02-14 10:37:12
974
原创 微软AutoGen高级功能：Memory
我们通过一个示例来演示，我们将使用ListMemory来维护一个用户偏好的记忆库，并展示随着时间推移，它如何被用来为智能体的回复提供一致的上下文信息。(记忆)是一个重要概念，它主要用于存储和管理智能体之间交互的历史信息，有助于智能体在对话和协作过程中参考过往内容，以更智能地推进任务。在几种用例中，维护一个有用事实的存储库是很有价值的，这些事实能在特定步骤即将开始前被智能地添加到智能体的上下文中。)模式，在这种模式下，一个查询被用于从数据库中检索相关信息，然后这些信息会被添加到智能体的上下文中。
2025-02-13 20:52:07
1137
原创 微软AutoGen高级功能：Magentic-One
的工作基于多智能体架构，在这种架构中，一个主导的协调器智能体负责高层次的规划、指挥其他智能体并跟踪任务进度。的另一种配置中，我还进行了额外实验，让编排器的外部循环和编码智能体使用OpenAI的o1-preview模型，而其他智能体则继续使用GPT-4o模型。的各个智能体为编排器提供了解决各类开放性问题所需的工具和能力，同时也赋予了编排器自主适应动态多变的网络和文件系统环境并在其中开展行动的能力。与具体模型无关，并且在完成任务时，它可以整合不同类型的模型，以支持不同的功能或满足不同的成本需求。
2025-02-13 14:35:23
1892
原创 微软AutoGen高级功能：Selector Group Chat
大家好，这次给大家分享的内容是微软AutoGen框架的高级功能Selector Group Chat(选择器群聊)，"选择器群聊"我在给大家分享的这篇博文的代码中有所体现微软AutoGen介绍——Custom Agents创建自己的Agents-CSDN博客，但是并没有详细的去介绍该功能(因为那篇博文的重点是讲解Custom Agents😊)。今天通过这次分享，我详细的给大家讲解一下该功能，那么我们直接进入正题。
2025-02-12 14:51:06
1284
原创 微软AutoGen介绍：Managing State保存并加载持续会话的Agents和Teams
大家好，这次给大家分享的内容是微软AutoGen框架一个重要的机制。
2025-02-11 15:27:36
1412
原创 微软AutoGen介绍：Custom Agents创建自己的Agents
博主希望本次分享对目前正在使用AutoGen框架做大模型应用开发的同事，还有正在学习使用AutoGen框架的同学有所启发和帮助，对AutoGen框架中的各个功能模块有深入的理解及熟练的使用，这样博主也就达到分享的目的了。如果大家在运行上述代码的时候有AutoGen相关的提示或报错(例如：该参数不存在，没有此类方法等)，请尝试更新一下AutoGen，博主在分享这篇博文的时候，另外大家要根据业务需求，设置使用的LLM，不一定要按照我给大家分享代码中的设置来，如果只是为了测试并看运行结果可直接复制粘贴代码(
2025-02-10 14:58:35
1107
原创 微软AutoGen介绍：Termination使用中止条件控制团队
大家好，这次给大家分享的内容是微软AutoGen框架的核心功能Termination(中止)。那么今天分享的内容又是什么呢？我们直接进入正题。
2025-02-10 12:45:17
1095
原创 微软AutoGen介绍：人机交互向团队提供反馈的最佳实践
大家好，这次给大家分享的内容是微软AutoGen框架的核心功能Human-in-the-Loop(简称：人机交互)。那么这个又是什么东西呢，我们直接进入正题。
2025-02-09 22:35:06
1229
原创 微软AutoGen介绍：Teams与智能体团队协作并使用
我们将从创建一个由两个助理智能体(AssistantAgent)组成的团队开始，并设置一个文本提及终止条件(TextMentionTermination)，当在智能体的回应中检测到特定词汇时，该团队就会停止运行。它会调用每个智能体的on_reset()方法，以清除智能体的状态。从上述输出中我们可以看到，团队从上一次中断的地方继续运行，并且第一条消息来自团队停止前最后发言的智能体之后的下一个智能体。这个双智能体团队实现了反思模式，这是一种多智能体设计模式，其中一个评判智能体评估一个主要智能体的回应。
2025-02-09 14:41:19
1342
原创 微软AutoGen介绍：Agents与AgentChat代理合作并开始使用
大家好，今天给大家分享的内容是微软AutoGen框架的核心功能Agents。今天分享的内容比较多，请大家耐心看完，我相信大家肯定会有所收获，那么我们直接进入正题。在微软AutoGen中，智能体(Agents)是模拟人类行为与能力、可彼此通信协作以完成复杂任务的实体。
2025-02-08 22:01:09
1887
原创 微软AutoGen介绍：Message了解消息类型
我相信大家看到这里可能还会有些云里雾里，AutoGen中的Message到底是什么，或者说它到底是用来干什么的？在微软的AutoGen框架中，Message是智能体之间进行通信的基本单位，它起着至关重要的作用。1. 信息传递任务分配与需求传达：UserProxyAgent可以将用户的任务需求以Message的形式发送给 AssistantAgent。
2025-02-07 14:28:19
686
原创 微软AutoGen介绍：如何使用LLM模型客户端
在许多情况下，智能体需要访问LLM模型服务，例如OpenAI、Azure OpenAI或本地模型。由于存在许多具有不同API的不同提供商，因此autogen-core为模型客户端实现协议并autogen-ext为主流模型服务实现一组模型客户端。AgentChat可以使用这些模型客户端与模型服务进行交互。本节简要概述了可用的模型客户端。
2025-02-07 11:17:02
565
博文 自然语言处理：文本分类 中代码用到的训练集
2025-03-06
博文 自然语言处理：文本分类 中代码用到的测试集
2025-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人