机器学习-

1. 机器学习介绍
 1.1 基本术语
机器学习：利用经验、通过计算、构建模型，来改善系统自身的性能。
属性（特征）：描述事物在特定方面的表现或性质的事项。
属性值：属性上的取值。
属性空间（输入空间）：属性的所有可能取值构成的集合，若属性为多维特征则是由多维属性张成的空间，属性空间 。
记录（样本、实例）：一个具体事物的属性描述，由属性向量表示。 第 个记录 的属性向量
其中， 为第 个记录的第 个属性。
𝑗 𝐱𝑗
= , 𝑗 = 1, 2, ⋯ , 𝑁 𝑖 = 1, 2, ⋯ , 𝑛 ∈ 𝐱𝑗 ( , , ⋯ , , ⋯ , )𝑥(1)
𝑗 𝑥(2)
𝑗 𝑥(𝑖)
𝑗 𝑥(𝑛)
𝑗
⊤ 𝐱𝑗
𝑥(𝑖)
𝑗 𝑗 𝑖
标记：描述事物某个特性或结果的事项。
标记值：标记上的取值。
标记空间（输出空间）：标记的所有取值构成的集合，标记空间 。
样例：拥有了对应标记的记录，由（记录，标记）对表示。第 个样例𝑗
( , ) , 𝑗 = 1, 2, ... , 𝑁, ∈ , ∈ 。𝐱𝑗 𝑦𝑗 𝐱𝑗 𝑦𝑗
数据集：
记录的集合（无监督学习数据集）， ；
样例的集合（有监督学习数据集）， 。
𝐷 = { , , ... , }𝐱1 𝐱2 𝐱𝑁
𝐷 = {( , ) , ( , ) , ... , ( , )}𝐱1 𝑦1 𝐱2 𝑦2 𝐱𝑁 𝑦𝑁
有监督学习：
1. 回归学习：有监督学习中，标记为连续值， 。
2. 分类学习：有监督学习中，标记为离散值。其中，
若 或 ，则为二分类；
若 ，则为多分类。
 = ℝ
|| = 2,  = {0, 1}  = {+1, −1}
|| > 2,  = { , , ... , }𝑐1 𝑐2 𝑐𝑚
训练数据集：用以训练模型的数据集的子集， 。
验证数据集：用以选择模型的数据集的子集， 。
测试数据集：应用测试模型的数据集的子集， 。
⊆ 𝐷𝐷𝑡𝑟𝑎𝑖𝑛𝑖𝑛𝑔
⊆ 𝐷𝐷𝑣𝑒𝑟𝑖𝑓𝑖𝑐𝑎𝑡𝑖𝑜𝑛
⊆ 𝐷𝐷𝑡𝑒𝑠𝑡𝑖𝑛𝑔
 1.2 假设空间与参数空间
有监督学习的目的在于学习一个从输入空间 到输出空间 的映射 ，或是条件概率 。  𝑓 𝑃 (𝑌 |𝑋)
决策函数（非概率模型）：从输入空间 到输出空间 的映射 。
假设空间 定义为决策函数的集合
其中， 是定义在输入空间 上的变量， ； 是定义在输出空间 上的变量， 。
  𝑓 :  → 

 = {𝑓|𝑌 = 𝑓 (𝐗)}
𝐗  𝐗 ∈  𝑌  𝑌 ∈ 