自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(519)
  • 资源 (5)
  • 收藏
  • 关注

原创 【Agent 上下文管理】有竞争力的综合实战

上下文管理面试核心在于组织逻辑而非堆砌术语。应以“有什么、怎么存、怎么找、怎么压缩、怎么召回”五问框架为骨架,结合业务场景讲清设计意图:区分短期/长期记忆,按数据类型分层存储(Redis、MySQL、向量库等),用语义Action封装查询避免模型直接操作数据库;压缩时保留关键约束与原始索引,支持细节召回;用户偏好变化则通过分层+稳定性评分动态更新画像。重点突出动态编排、冲突处理、可复用表达模板等高阶机制,用真实案例串联全流程,展现对窗口有限性、任务连续性与系统鲁棒性的深刻理解。

2026-11-15 21:41:20 14

原创 【Agent 上下文管理】长任务管理与漂移治理

长任务的核心难点在于信息持续涌现与依赖复杂,本质是上下文管理问题。模型受限于上下文窗口,易因信息丢失、压缩不当或错误累积导致目标、约束、状态、证据漂移。应对策略包括:通过Checkpoint定期校准(Plan模式)或每轮检查“还差什么”(ReAct模式),并引入独立的Context Verifier实现异步旁路体检,提前发现漂移。关键在于“走一步、看一步、再检查一步”,确保长期任务不跑偏。

2026-11-01 20:52:52 26

原创 【Agent 上下文管理】用户画像体系

本文系统解析AI Agent核心能力中的用户画像构建与应用,对比传统画像局限,提出五维用户画像模型(目标、能力、偏好、决策、关系),强调其作为私有资产的重要性。通过场景化加载策略与分层建模方法(如人物关系表、电商品类画像),实现精准意图理解与个性化交互,助力开发者在面试与工程实践中“讲清楚、答得准”。

2026-10-29 22:31:44 33

原创 【Agent 上下文管理】摘要机制、细节召回与压缩评估

摘要体系包含五类:对话整体与章节摘要、大模型输出压缩、关键事实结构化、中间结果提炼。采用异步生成策略,结合检索服务实现细节召回,通过“当前K轮传原文+历史走检索”缓解同步延迟,以“关键事实+冲突裁决”保障决策准确性。高级方案包括模型可读高密度摘要与迭代式精准召回,兼顾效率与完整性。

2026-10-25 12:17:27 142

原创 【Agent 上下文管理】Context 编排与预算分配

上下文窗口需通过“Context Compiler”四阶段流水线优化:筛选(Select)精准提取任务所需信息,压缩(Compress)按重要性与Token预算动态降维,排序(Order)兼顾重要性与缓存友好性以提升Prefix Cache命中率,注入(Inject)添加系统提示等固定内容。核心在于工程化思维——非简单拼接Prompt,而是编译产物,强调可扩展性、量化意识与性能优化。

2026-10-25 10:53:54 44

原创 【Agent 上下文管理】窗口管理与分层压缩

本文系统讲解AI Agent中的上下文管理核心技术,涵盖滑动窗口、分层上下文、历史压缩与召回机制。重点解析滑动窗口的轮次/Token双模式实现,分层设计的五大维度(生命周期、作用范围等),以及超窗历史通过摘要与细节召回的协同处理。结合Claude Code五层渐进式压缩流水线,强调“零成本优先、缓存保护”原则,提出从简单清理到LLM摘要的分层策略,兼顾性能、成本与准确性,助力开发者高效应对长上下文挑战。

2026-10-23 22:01:22 54

原创 【Agent 上下文管理】Context 概念与管理框架

Context是Agent可访问的全部信息空间,Context Window是经筛选压缩后传给模型的工作集,Memory仅为部分Context的拟人化表达。三者关系如“仓库—工作台—常用工具”。上下文管理需通过统一的Context Item抽象,按类型分类便于工程实现,核心在于构建从Context到Window的五步流水线:Retrieve→Select→Compress→Order→Inject,实现高效、精准的信息注入。

2026-10-20 21:51:57 51

原创 【Agent 规划与执行】执行效果评估

本文系统解析AI Agent核心评估方法,聚焦Plan、ReAct Agent与轨迹三类关键评估场景。提出“正确性、效率、鲁棒性”三维评估框架,结合离线(golden plan、DAG编辑距离)与在线(任务成功率、用户纠正率)指标,辅以LLM as Judge实现质量打分。强调轨迹评估的重要性——不仅看结果,更追溯每步执行路径,实现可归因分析。通过测试集覆盖六类场景、双维度(技术+产品)交叉验证,构建完整评估体系,助力开发者从“答得对”到“讲得清、做得稳”。

2026-10-11 18:30:56 38

原创 【Agent 规划与执行】硬约束与需求变更

当Plan违反硬约束时,通过生成后、执行前、执行中三层检查机制实时拦截,违规则重生成或终止分支。用户中途变更需求需进行影响分析:冲突则回滚Replan,不冲突则并行接入新任务。针对死循环与目标漂移,采用重复动作检测、进展监控、语义相似度校验等手段,结合扰动提示、路径排除、目标固化与Checkpoint回滚治理;最终以硬预算上限作为强制退出保障,确保任务可终止、可控制。

2026-10-04 19:55:30 61

原创 【Agent 规划与执行】Replan、根因回溯与事务保障

Replan 机制核心是执行中基于新信息对计划进行受控修正,而非盲目重生成。触发时机包括工具失败、上下文变化或假设被推翻。应优先采用最小粒度(当前步骤或局部 Replan),复用已有结果。通过代码+大模型双重判定过滤非必要 Replan,Prompt 设计需包含五要素、强调约束、分类输出并 evidence-based。引入 Try-Confirm-Cancel 机制提升高风险场景可靠性,并通过降级链路与根因回溯避免重复错误,确保修正精准有效。

2026-10-02 19:55:27 72

原创 【Agent 规划与执行】ReAct 执行循环与工具选择

ReAct 是一种将大模型推理(Thought)与外部行动(Action)交替执行的框架,通过受控状态循环实现任务推进。其核心是“读取状态 → Think → Action → Observation → 更新状态 → 判断下一步”的闭环流程。Think 阶段需完成目标、状态、路径、风险与停止条件五类判断;Action 被抽象为工具、接口、子 Agent 等可执行单元;Observation 强调对结果的语义解释而非简单存储。每轮结束后有六种出口:Continue、Finish、Clarify、Retry、

2026-10-02 12:55:36 357

原创 【Agent 规划与执行】Plan 与 Workflow 设计

Plan 与 Workflow 的核心区别在于生成时机:Workflow 是编码时预定义的固定执行图,适用于可枚举、确定性任务;Plan 是运行时动态生成的策略,适合依赖上下文的语义分支。推荐混合架构:稳定流程用 Workflow,复杂决策用 DAG Plan。DAG Plan 支持并行与依赖管理,需包含节点元信息及循环检测。设计 Plan 机制应遵循 Goal-Context-Choice-Checkpoint-Correction 框架,确保目标量化、约束分层、路径可解释、过程可校验、错误可纠偏,提升

2026-09-30 15:32:43 366

原创 【Agent 意图识别】路由集成、Prompt 工程与性能保障

Agent 意图识别是路由与权限控制的前置关键环节,三者形成“意图→路由→权限”的串联流程:意图识别决定方向,路由选择路径,权限实施准入。通过在意图层嵌入权限等级、使用结构化 Prompt 与 JSON Schema(含 intent、slots、confidence 等字段)提升准确率,并结合缓存、并行化、模型分层与降级链路优化延迟与可用性,实现高效、安全的 Agent 流程治理。

2026-09-30 14:42:33 87

原创 【Agent 意图识别】测试集、线上迭代与实时画像

本文系统解析AI Agent核心能力,聚焦意图识别测试集构建与bad case排查闭环,强调测试集需均衡覆盖高频、边界、多意图等六大类场景,并通过线上bad case回流实现持续迭代。提出“收集-复现-归因-修复-回归”五步法,按链路顺序排查输入规范、few-shot缺失等五类原因,坚持“先归因再动手”。针对动态用户画像识别,创新采用实时检索+离线模型混合架构,基于FAISS向量库实现标签增删零停机更新,结合KNN投票与阈值过滤保障实时性与准确性,兼顾业务灵活性与模型稳定性。

2026-09-29 22:09:58 53

原创 【Agent 意图识别】异常场景与输入处理

拒识用于处理超出系统能力范围的意图,澄清则针对意图明确但信息缺失的情况,二者需平衡以避免误拒(伤害体验)或漏拒(危害安全)。用户输入规范化需分阶段处理:前期统一指代、补全缺失、标准化术语,进阶方案包括基于属性的指代消解、自我迭代词汇表、可量化形容词及区分已验证与暂定证据,确保理解准确、执行可靠。

2026-09-29 21:15:12 49

原创 【Agent 意图识别】输出协议、评估与置信度

Agent意图识别输出结构化协议,包含主意图、子任务、独立意图、槽位、缺失参数、硬/软约束及证据来源(已验证与暂定)。其核心是让模型在受控意图空间中完成分类与参数抽取,支持多意图区分(过程性描述 vs 真多意图),并通过missing_slots触发澄清,hard_constraints确保必满足,soft_constraints允许降级。槽位填充需与工具参数对齐,避免断层。评估应综合TopK召回、拒识准确率、槽位精度等指标,尤其关注约束识别能力。

2026-09-28 22:05:46 72

原创 【Agent 意图识别】Agent 意图体系设计与接入

Agent意图体系基于业务流程、工单、客服记录与API能力四源抽象,通过“动作拆解→聚类→工具绑定”三步设计,确保意图与系统能力对齐。新增意图需真实case支撑,经评估区分度后小流量验证再全量。新意图挖掘则从转人工、拒识等“系统接不住”日志出发,结合向量化聚类与人工审核,实现高效闭环发现与接入,提升系统覆盖与用户体验。

2026-09-28 20:56:08 374

原创 【Agent 意图识别】Agent 意图识别基础与方法

Agent 意图识别输出的是结构化路由决策而非单一标签,目的是决定后续流程和工具,优化目标是任务成功率而非准确率。

2026-09-27 21:32:38 58

原创 一文读懂 Palantir 与 Palantir Foundry:从「反恐神兵」到「企业大脑」的 20 年

Palantir 的成功,说到底不是技术上的成功,是**对「数据如何驱动业务」这个问题的工程化解决**。它没有发明什么新算法,但它重新定义了「数据应用」这件事的工程范式。

2026-09-16 14:17:10 46

原创 一文读懂 知识图谱 Schema:从「实体-关系」到「百亿级图谱」的工程实战

从「机器可读」到「机器能找」,知识图谱Schema以务实主义破解工业界数据难题。它摒弃学术派的严格逻辑,采用轻量、灵活、容忍缺失与矛盾的类型标签系统,支撑百亿级实体的动态管理。通过实体、关系、属性三要素构建图结构,结合属性图与RDF双存储路径,实现高效查询与复杂推理。其核心能力在于:先“能存”,再“能找”,最终让机器理解语义、连接碎片信息,真正实现智能搜索与决策支持。

2026-09-15 12:59:29 42

原创 一文读懂 Semantic Web 本体论:从「机器可读」到「机器可理解」的 30 年

本文追溯AI“本体论”热潮的根源,揭示其源于1990年代Semantic Web运动,旨在让机器理解语义。核心是用OWL等标准构建领域知识的严谨形式化体系——通过类、属性、约束与规则,实现自动推理。面对大模型幻觉问题,本体可为AI套上“语义笼子”,提升医疗、金融等高风险场景的可靠性。尽管构建难度大,需专家深度协作且维护成本高,但其在知识表达与推理上的不可替代性,使其成为当前AI可信化的重要基石。

2026-09-14 21:55:50 40

原创 我给 AI 造了个会记笔记的 LLM Wiki:用 deepagents 治好 RAG 的健忘,最难的不是让它聪明,是别让它撑死

七分钟背后:让 AI 给投研知识库当“长记性的管家” 本项目针对 RAG 每次查询都“从零翻档案”的痛点,提出 LLM-Wiki 方法论——将知识“编译一次”而非每次重复推导。基于 deepagents + FastAPI + GLM-5.3-Flash 构建三层知识库(raw 原始资料、wiki 结构化笔记、schema 约定规则),让 AI 自主执行 Ingest、Query、Synthesis、Lint 四大动作。核心亮点包括:以 172 行 SKILL.md 手册

2026-09-09 10:25:05 40

原创 AI Agent 老是犯蠢?我开源了一套 Agent 评测系统,让同一个坑只踩一次

同一个坑,只踩一次。我觉得这句话挺浪漫的。它背后是软件工程里最朴素也最性感的思想,让每一次失败都有利息。

2026-09-08 13:10:23 33

原创 Agent上下文管理|我把记忆系统做成了可配置策略

用户要求我根据提供的文章内容,生成一篇不超过150字的文章摘要。我需要提取关键点,并用简洁的中文进行总结。 让我仔细阅读这篇文章: 作者测试了一个Agent客服系统,用户说“不要小米”,但Agent在几轮对话后依然推荐了小米产品 核心问题:上下文管理,不是模型问题,而是喂给模型的上下文有问题 引入了XContext项目(已开源在GitHub) 核心思想:Context Window = f(Context) 将上下文来源拆分为多个“角色”(约束、事实、画像、历史等) 为每条上下文添加元数据(t

2026-09-07 12:14:56 60

原创 RAG 优化别再死磕 Prompt 了,我把检索做成了 Agent,成本和幻觉一起治

<think>我们根据用户要求,需要对给定内容生成不超过150字的文章摘要。内容是关于XRAG项目的介绍,包括传统RAG的问题、XRAG的三段论设计(规划、执行、表达)以及核心思路。需要提炼关键点。 分析:文章简介了XRAG这个开源项目,针对传统RAG在复杂客服场景中的不足,将检索设计为对话式Agent,通过规划(5W1H信息缺口分析)、执行(多路召回、RRF融合)和表达(流式输出、评估)来解决。摘要需涵盖这些要素,不超过150字。 可能摘要: "本文介绍XRAG,一个将检索做成对话式Agent的开源项目,

2026-09-04 21:41:15 43

原创 那头黑色鲸鱼托着的洞洞板,DeepSeek Harness 到底在拼什么?

DeepSeek Harness 是一个开源智能体框架,采用插件化设计,核心思想是"一切皆插件,每次运行都可追溯"。它基于Cordis元框架,实现了副作用的可逆性,允许热插拔组件而不留痕迹。Harness不是模型,而是连接模型与真实世界的"线束",将AI决策转化为可执行操作。项目发布24小时内GitHub star近8万,社区插件已近300个。虽然目前对非开发者门槛较高,但其模块化设计为构建复杂AI应用提供了高度灵活性。

2026-08-14 16:16:18 102

原创 【XTAO框架】Agent 跑偏这件事,我忍了很久了

摘要: XTAO 是一个解决 Agent 执行偏差的开源框架,核心针对「Plan 跑偏后如何自我修正」的问题。它通过 G4C 模型(Goal、Context、Choice、Checkpoint、Correction)生成可动态调整的 Plan,并采用 TAO(Think-Action-Observation) 步骤级执行与 Replan 机制实现运行时纠偏。框架将错误判定与执行分离,支持 Step/Partial/Global 三级修正粒度,优先复用有效结果,避免无限循环。案例显示,XTAO 能有效定位如

2026-08-14 08:38:35 182

原创 【XIntent框架】Agent 听不懂人话?我给大模型加了「两道翻译」

文章摘要(148字) 大模型Agent常因自然语言的模糊性陷入理解困境,如指代不清、主观表达等问题。XIntent框架通过两阶段处理方案:先规范化输入(解决指代、省略等六类问题),再采用三层瀑布式意图识别平衡效率与准确率。核心创新包括:两阶段分工处理不同复杂度问题、显式约束大模型行为边界、语义化命名增强指代稳定性、动态澄清机制及长期记忆支持。该项目开源在GitHub,通过结构化处理使Agent更精准理解用户真实意图,同时控制推理成本。

2026-08-14 08:30:00 57

原创 在 Xinference 里接入 jina-reranker-v3.5,一个 listwise reranker 让我连改三版代码

Jina-Reranker-V3.5升级解析与Xinference接入实践 摘要: Jina-Reranker-V3.5作为0.6B参数的多语言listwise排序模型,在架构、训练数据和蒸馏策略上进行了三大升级:采用3L2G混合注意力机制降低计算复杂度;新增法律、医疗等垂直领域训练数据;通过三段式自蒸馏保持性能。评测显示其在BEIR等基准上超越同参数规模模型,甚至优于部分4B模型。然而,该版本改用原生JinaForRanking架构,导致无法直接通过标准CrossEncoder接口接入Xinference

2026-08-05 10:33:50 59

原创 在 Xinference 里跑通腾讯 R3-Skill:当你的 Agent 技能库大到没法塞进 Prompt

腾讯 IMA 和 Youtu Lab 提出的 R3 技能路由系统解决了 AI Agent 技能调用中的核心难题:如何在数十万技能库中精准检索与当前任务意图匹配且相互兼容的技能组合。与文档检索不同,技能检索需考虑技能间的动态兼容性(query-conditioned skill compatibility)。研究团队通过收集 LLM 的拒绝信号构建 R3-Skill 数据集,并开发了两阶段模型:R3-Embedding(粗排)和 R3-Rerank(精排)。该系统已在 Xinference 开源,支持类似 O

2026-08-04 17:32:02 52

原创 我把 Agent 的 Plan 与执行做成了「运行时对象」,它终于不会在半路上自己跑偏了

摘要: XTAO 是一个 Agent 规划与执行框架,通过 G4C(Goal、Context、Choice、Checkpoint、Correction)生成可执行的 Plan,并结合 TAO(Think-Action-Observation) 步骤级执行与 Replan 机制实现动态纠偏。其核心创新在于将 Plan 设计为有状态的运行时对象,支持检查点验证与多粒度修正(Step/Partial/Global Replan),避免传统 Agent 因早期错误导致后续步骤偏离的问题。通过 FailureTrac

2026-08-01 23:03:24 68

原创 用 Claude Agent SDK 搭一个多代理投研平台,我把踩过的坑全写进来了

文章摘要: 本文介绍了基于Claude Agent SDK开发的投研系统FinSight的设计经验。重点探讨了四个关键设计点: 采用SubAgent-as-tool架构,将财务分析、行业新闻、风险预警拆分为独立子代理,通过上下文隔离提升任务质量,实测性能提升90%但token消耗增加15倍; 会话管理实现fresh/resume/fork三种模式,支持连续追问和探索分支,需注意显式传入agents配置的坑点; 通过Hook机制解决无人值守时的治理问题,包括成本控制、敏感词过滤和审计追踪; 集成OpenTel

2026-08-01 09:56:39 66

原创 从 Loop 到 Graph AI Agent 工程范式演进

AI Agent设计范式:从循环工程到图工程的演进 文章探讨了AI Agent设计方法的演进历程。2023年以Prompt Engineering为主,2025年发展为Context Engineering,2026年Addy Osmani提出Loop Engineering概念,核心在于设计自动化循环系统而非单次Prompt。一个完整的循环包含触发器、任务和成功条件三个要素,通过独立验证器和状态持久化实现迭代优化。 当任务复杂度上升时,简单的循环结构难以应对。Peter Steinberger提出的"Ar

2026-07-27 21:47:33 191

原创 用 Claude Agent SDK 干掉 LangGraph 之后,我的金融研报 Agent 终于不崩了

这篇文章摘要如下: 金融研报自动生成项目FinScribe的技术实践:如何用Claude Agent SDK解决大模型上下文溢出问题 作者在开发金融研报自动生成项目时遇到大模型上下文管理的核心挑战:处理上市公司财务数据(单家公司三年三张表约需90万token)远超qwen3-max的256K上下文窗口。文章重点介绍了采用Claude Agent SDK的五级渐进式上下文压缩策略: Tool Result Budget:大文件自动转存磁盘,上下文只保留引用 Snip:过长输出截断处理 Microcompact

2026-07-24 17:30:38 66

原创 Agent 听不懂人话?我把这个问题拆成了两个模块来解决

这篇文章介绍了XIntent框架如何解决Agent在自然语言处理中的两个核心问题:用户输入规范化和意图识别。以下是摘要要点: 问题背景: Agent难以理解自然语言中的指代、省略和主观表达 用户输入不规范导致意图识别失准、参数漂移等问题 解决方案架构: 采用两阶段处理:pre-normalization(预处理)和deep-normalization(深度处理) 预处理解决即时可处理的指代、省略等问题 深度处理需要依赖上下文或工具返回的数据 技术实现: 将用户输入问题分为6大类(指代/缺失/表达/词义/主观

2026-07-22 23:16:03 77

原创 别再让每个请求都去最贵的模型了,聊聊 AI Agent 的模型路由

本文介绍了一个名为xrouter-llm的模型路由项目。该项目通过将教育测量学中的项目反应理论(IRT)应用于AI模型路由,实现了53.2%的成本降低和1.9%的完成率提升。文章首先分析了模型路由的经济价值,指出合理路由可节省75%的API成本。然后梳理了当前四种主流路由方案:静态规则、分类器、级联和语义路由。最后重点解析了xrouter-llm的创新点:将路由问题拆分为难度预测和能力评估两个维度,使用IRT框架建立prompt难度与模型能力的匹配关系,通过训练数据预测完成概率,从而选择最经济可行的模型。该

2026-07-16 14:00:00 76

原创 我和 TRAE AI聊了聊,它帮我为五迷老师们做了个城市漫游小程序!

独立开发者利用TRAE AI开发的"MaydayLand·五月天城市漫游"H5应用,为五月天粉丝打造了一个集城市角落打卡、同好社交和主题游戏于一体的移动端平台。该产品通过歌词角落地图、暗号打卡、Canvas生成专属卡片等功能,解决了五迷寻找同好据点的需求,并内置8款五月天主题小游戏和资讯自动更新系统。项目采用Flask+原生前端技术栈,在ModelScope平台部署,展现了AI辅助开发在实现复杂功能(如移动端游戏门户单文件架构)和解决部署问题上的高效性。(149字)

2026-07-07 21:13:56 557

原创 【AFAC2026金融智能-赛题四】我做了一个疯狂的决定,把Embedding和Reranker全删了

本文介绍了AFAC2026金融智能挑战赛赛道四的解题思路,核心是在500万token的严格限制下实现金融长文本的高效问答。作者通过四步流水线(规划、BM25检索、记忆压缩、LLM推理)优化流程,重点创新在于: 采用零API调用的纯BM25检索,配合多路查询、封面页加权和页面邻接扩展等策略 设计高效的检索算法,从问题中提取专有名词并构建多路查询组合 深入理解评分公式,平衡准确率和token消耗,最终在准确率提升的同时将token消耗从数百万降至百万级 这些创新使方案在严格限制下实现了性能突破,展示了在资源受限

2026-07-07 11:51:02 232

原创 【AFAC2026金融智能-赛题三】让AI自己当研究生,零人工干预跑完21轮实验

本文介绍了SparseAutoExp项目,这是一个完全自主的科研Agent框架,能够在零人工干预的情况下完成从文献分析到实验验证的完整科研闭环。该项目专为AFAC2026金融智能创新大赛设计,需在两小时内自主完成图节点分类和产品推荐两个机器学习任务。框架采用四阶段迭代闭环(文献解析→瓶颈诊断→代码设计→实验验证)和LangGraph多Agent架构,通过严格的工程约束确保可复现性。核心设计包括基于状态的决策机制和五种停止条件判断,模拟人类科研流程的同时避免了低效循环。项目展现了AI自主科研的潜力,在严格限制

2026-07-06 13:42:30 313

原创 【AFAC2026金融智能-赛题二】2亿像素的面条图,我切了1000刀拼回完美Markdown

摘要: AFAC2026金融智能创新大赛的「复杂金融文档还原挑战」任务是将高分辨率金融文档截图转换为结构化Markdown文本。面对2亿像素的“面条图”和严格的计算限制(禁用主流大模型,仅允许调用FinixDoc-VL API且模型需小于10M),作者提出四层流水线解决方案: 图像预处理:通过文本行投影检测在行间隙处智能切图,避免截断文字; API调度:5路并发轮询请求,结合内容哈希缓存与指数退避重试机制优化调用效率; 后处理:采用最长公共子串匹配去除文本重叠,并设计表格对齐算法修复跨块表格; 结果输出:按

2026-07-06 11:42:33 173

SMP2020微博情绪分类技术评测数据集

SMP2020微博情绪分类技术评测数据集 本次技术评测使用的标注数据集由哈尔滨工业大学社会计算与信息检索研究中心提供,原始数据源于新浪微博,由微热点大数据研究院提供,数据集分为两部分。     第一部分为通用微博数据集,该数据集内的微博内容是随机获取到微博内容,不针对特定的话题,覆盖的范围较广。     第二部分为疫情微博数据集,该数据集内的微博内容是在疫情期间使用相关关键字筛选获得的疫情微博,其内容与新冠疫情相关。     因此,本次评测训练集包含上述两类数据:通用微博训练数据和疫情微博训练数据,相对应的,测试集也分为通用微博测试集和疫情微博测试集。参赛成员可以同时使用两种训练数据集来训练模型。     每条微博被标注为以下六个类别之一:neutral(无情绪)、happy(积极)、angry(愤怒)、sad(悲伤)、fear(恐惧)、surprise(惊奇)。     通用微博训练数据集包括27,768条微博,验证集包含2,000条微博,测试数据集包含5,000条微博。     疫情微博训练数据集包括8,606条微博,验证集包含2,000条微博,测试数据集包含3,000

2022-12-29

Spark机器学习回归模型数据集

为了阐述本章的一些概念,我们选择了bike sharing数据集做实验。这个数据集记录了bike sharing系统每小时自行车的出租次数。另外还包括日期、时间、天气、季节和节假日等相关信息。

2016-06-15

Spark机器学习文本处理数据集

为了说明概念,我们将使用一个非常有名的数据集,叫作20 Newsgroups;这个数据集一般用来做文本分类。这是一个由20个不同主题的新闻组消息组成的集合,有很多种不同的数据格式。对于我们的任务来说,可以使用按日期组织的数据集。

2016-06-20

Spark机器学习推荐模型数据集

我们将使用推荐引擎中使用的电影打分数据集,这个数据集主要分为三个部 分:第一个是电影打分的数据集(在u.data文件中), 第二个是用户数据(u.user),第三个是电影数据(u.item)。除此之外,我们从题材文件中获取了每个电影的题材(u.genre)。

2016-06-18

Spark机器学习分类模型的数据集

考虑到推荐模型中的 MovieLens 数据集和分类问题无关,本章将使用另外一个数据集。这个 数据集源自 Kaggle 比赛,由 StumbleUpon 提供。比赛的问题涉及网页中推荐的页面是短暂(短暂 存在,很快就不流行了)还是长久(长时间流行)。

2016-06-15

jblas-1.2.4-SNAPSHOT

里MLlib库需要依赖[jblas线性代数库](http://jblas.org/),如果大家编译jblas的jar包有问题,可以获取。把jar包加到lib文件夹后,记得在spark-env.sh添加配置

2016-06-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除