CCH²¹的博客

计算机视觉与深度学习系列博客传送门【计算机视觉与深度学习】线性分类器（一）【计算机视觉与深度学习】线性分类器（二）【计算机视觉与深度学习】全连接神经网络（一）目录激活函数再探讨梯度下降算法的改进梯度下降算法存在的问题动量法自适应梯度法，AdaGrad算法与RMSProp算法Adam算法权值初始化全零初始化随机权值初始化Xavier初始化HE初始化 (MSRA)总结激活函数再探讨首先我们来看Sigmoid函数σ(x)=11+e−x\sigma(x)=\frac{1}{1+e^{-x}}σ(x).

计算机视觉与深度学习系列博客传送门【计算机视觉与深度学习】线性分类器（一）【计算机视觉与深度学习】线性分类器（二）目录从线性分类器到全连接神经网络全连接神经网络的权值全连接神经网络与线性不可分激活函数网络结构设计Softmax与交叉熵损失计算图与反向传播从线性分类器到全连接神经网络首先让我们回到线性分类器的定义：fi(x,wi)=wiTx+bi,i=1,2,...,cf_i(\bm x, \bm w_i)=\bm w_i^T \bm x+b_i,i=1,2,...,cfi​(x,wi​)=wi.

计算机视觉与深度学习系列博客传送门【计算机视觉与深度学习】线性分类器（一）目录损失函数再探讨正则项参数优化损失函数再探讨让我们回到损失函数的一般定义L=1N∑iLi(f(xi,W),yi)L=\frac{1}{N}\sum_iL_i(f(\bm x_i,\bm W),y_i)L=N1​i∑​Li​(f(xi​,W),yi​)那么，若存在一个W\bm WW使得损失L=0L=0L=0，那么这个W\bm WW是否唯一？假设两个线性分类器f1(x,W1)=W1x,f2(x,W2)=W2x\bm f_1.

目录从线性分类器开始线性分类器的定义线性分类器的决策步骤线性分类器的矩阵表示线性分类器的wiT\bm w_i^TwiT​如何理解线性分类器的决策边界线性分类器的损失函数损失函数的定义多类支持向量机损失从线性分类器开始线性分类器形式简单，易于理解。通过层级结构（神经网络）或高维映射（支持向量机）可以形成功能强大的非线性模型。线性分类器的定义线性分类器是一种线性映射，将输入的图像特征映射为类别分数。线性分类器定义如下：fi(x,wi)=wiTx+bi,i=1,2,...,cf_i(\bm x, \