烽火戏猪猴

感知机的对偶形式 @ Python在感知机的原始形式当中, 我们会发现有的点成为误分类点的次数不止一次,每次计算的过程没有任何变化, 对于点(xi,yi)(x_i,y_i) 来说, 到目前为止作为误分类点的次数为nin_i, 对于ww的影响是ni⋅η⋅xi⋅yin_i\cdot\eta\cdot x_i\cdot y_i ,, 如果一直都是真确的分类点的话, ni=0n_i = 0, 对于ww的影

# _*_ coding:utf-8 _*_from operator import itemgetterclass Node(object): def __init__(self): # 初始化一个节点 self.data = [] self.l_child = None self.r_child = Noneclass

感知机(二分类问题) @ PythonM 是 误分类点的集合损失函数 : minw,bL(w,b)=−∑xi∈Myi(w⋅xi+b)\min\limits_{w, b}L(w, b) = - \sum\limits_{x_{i}\in M}y_{i}(w \cdot x_{i} + b) 损失函数的梯度 : ∇wL(w,b)=−∑xi∈Myixi\nabla_{w} L(w, b) =

K 近邻算法原理 : 给定一个实例, 在训练集中找到与实例距离最近的 k 个训练数据, 这个实例的类别就是这 k 个训练数据的多数属于的类别三个要素 : 超参数 K 的选择, 距离计算方法, 最终的分类决策规则当 k = 1 的时候, 就是最近邻算法, 就是找距离最近的一个的实例的类别作为实例的分类k 值的选择很重要, 如果说k 值太大, 会导致距离较远的训练实例对预测实例产生影响, 如果