《中国人工智能学会通讯》——9.16 形式化定义

9.16 形式化定义

在定义LDL之前，首先对使用的符号进行说明。令 x 表示示例， x i 表示第 i 个示例；y 表示标记，y i 表示第 i 个标记； 表示标记 y 对示例 x 的描述度，表示示例x i 对应的标记分布（c表示标记的个数）。

根 据 前 面 分 析 可 知， 标 记 分 布 与 概 率 分布具有相同的约束，因此，许多在统计学上的理 论 和 方 法 都 可 以 应 用 于 标 记 分 布。 首 先，可 以 用 条 件 概 率 表 示 ， 即 。 则LDL 的 定 义 如 下： 令 表 示 输 入 空 间，表示完整标记集。给定一个训练集 ，LDL 旨在从训练集 S 中学习一个条件概率质量函数 ，其中 且 。假设 是一个参数模型 ，其中是参数向量。给定训练集 S，则 LDL 需要找到合适，使得 与 D i 尽可能相似。如果使用 K-L散量作为概率分布距离衡量标准，则参数向量 由下式决定：