アルタイル

第四章　朴素贝叶斯法简单理解：已有的大量样本告诉我们：“好吃的瓜”（类别）大部分（具体来说要用一个概率分布描述）是无籽的、甜的（特征），现在一个新样本过来，我们只能观察到它的特征是有/无籽的、甜/不甜的，要由此判断它是好吃还是不好吃的。一句话说，就是通过大量数据的统计规律得到由类别推特征的概率分布，然后通过贝叶斯公式对新样本由特征推类别。设输入特征向量为 XXX ，类别为 YYY ，所求概率分布为 P(X=x∣Y=ck)P(X = x \mid Y = c_k)P(X=x∣Y=ck​)，由于 X

第三章　 kkk 近邻法（KNN）多分类模型，思路是将最近的 NNN 个邻居的分类值中的多数作为自己的分类值。没有显式的学习过程。三个基本要素：距离度量、kkk 值选择和分类决策规则。距离度量：一般形式，Minkowski距离的定义为Lp(xi,xj)=(∑l=1n∣xi(l)−xj(l)∣p)1pL_p(x_i, x_j) = \left (\sum_{l=1}^n \mid x_i^{(l)} - x_j^{(l)} \mid^p \right)^\frac{1}{p}Lp​(x

第二章　感知机二分类线性模型，输入实例的特征向量，输出+1，-1二值代表的类别。公式：f(x)=sign(ω⋅x+b)f(x) = sign(\omega \cdot x + b)f(x)=sign(ω⋅x+b)，sign(x)sign(x)sign(x) 函数将正负值规约到±1。本质是用一个 NNN 维的超平面将特征空间划分为正负两部分。ω,b\omega, bω,b 就是超平面的法向量和截距。损失函数：误分类的点个数不是 ω,b\omega, bω,b 的连续可导函数，不易优化。

最近开始学习机器学习方向的知识，开个新系列记录一下。主要基于笔者个人直白的理解总结书中的知识要点和内在思路，不保证覆盖全面，如有错误也请不吝赐教✌学习教材：《统计学习方法》 第二版 李航第一章　统计学习及监督学习方法概论统计学习（机器学习）的目标：给定某个输入，回答基于实际场景的“正确的”的输出。为了能对所有输入达成这样的效果，实际上需要找出一个输入集对输出集的映射关系（称为模型，以函数或概率分布描述）。方法：给定足量的数据（即正确的输入输出关系样本）。将输入输出抽象为一系列抽象的特征