机器学习笔记
one. piece!!
这个作者很懒,什么都没留下…
展开
-
机器学习笔记——卷积神经网络(CNN)
如下图所示,每次卷积结束后都需加上非线性变换,执行几次卷积后会得到一个比较大的特征图,这时我们进行一次池化,最后把处理过的特征图拉成一个特征向量(全连接),将该向量转化为5分类的概率值。卷积层得到非常多的特征,但不是所有的特征都是有用的,因此我们要对特征进行压缩,选择重要的特征保留下来,将不重要的丢弃。原因很简单,在卷积过程中,卷积核根据步长进行移动,内部的点在计算中的贡献更多,为了弥补边界特征的缺失,所以在外围增加一圈0来作为图像的边界值。①滑动窗口的步长,即卷积核每次移动的大小,步长越小。原创 2023-06-27 14:46:10 · 152 阅读 · 0 评论 -
机器学习笔记——卷积
下图以向量为例,卷积核像一个滑动窗口向右移动,设输入大小为k,卷积核大小为m,则输出大小为k+m-1。卷积在信号处理中,用于计算信号和延迟累积。卷积类型可按输出长度的不同分成三类。原创 2023-07-27 15:27:26 · 120 阅读 · 1 评论 -
机器学习笔记——反向传播算法
反向传播算法是根据前馈网络的特点而设计的高效方法,利用反向传播算法可以高效的计算损失函数关于各参数的梯度。使用矩阵和向量来表示因变量每个成分关于自变量每个成分的偏导数,下图中的表达式采用分母布局。上述内容为本人观看邱锡彭教授《神经网络与深度习》所做的笔记,想要深入了解,请观看相关课程。原创 2023-07-27 10:58:14 · 56 阅读 · 1 评论 -
机器学习笔记(梯度下降)
沿着梯度的反方向走,值通常会变小,直至收敛到一个极值。下图式中搜索步长α也叫作学习率,是机器学习中的一个非常重要的超参数,需要自行选择其值。下图为学习率不同的三种情况,学习率太小会使训练速度非常慢,太大会跨越最低点,来回震荡,永远不收敛。推荐使用自适应学习率,初始取较大值,快接近极值点时取较小值,节约时间且不会错过极值点。:随机选取一小部分训练样本来计算梯度并更新参数,既可以兼顾随机下降法的优点,也可以提高训练效率。:每次迭代时只采集一个样本,当经过足够的迭代次数后,也可以收敛到局部最优解。原创 2023-07-21 11:54:26 · 69 阅读 · 1 评论 -
机器学习笔记——正则化解决过拟合问题
如过我们要解决上面模型三的过拟合问题,需要减少θ3和θ4的大小,我们要做的便是修改代价函数,在其中θ3和θ4 设置一点惩罚。如下图,蓝色曲线表示未经正则化得到的模型,粉色表示经过正则化参数适当时得到的模型,深红色表示正则化参数过大时得到的模型。第三个模型是一个四次方的模型,过于强调拟合原始数据,若给出一个新的值使之预测,它将表现的很差,是过拟合。我们对比模型1、2、3,可以得出结论:高次项是导致过拟合现象产生的原因,所以如果我们能让这些高次项的系数接近于0的话,我们就能很好的拟合了。原创 2023-07-26 16:00:46 · 179 阅读 · 1 评论 -
机器学习笔记——激活函数
1、S型函数性质:饱和函数,Tanh函数是零中心化的,logistic函数的输出恒大于0。非零中心化的输出会使得最后一层的神经元的输入发生偏移,使梯度下降的收敛速度变慢。2、斜坡函数优点:计算上更加高效;生物学合理性:单侧抑制、宽边界兴奋;在一定程度上缓解了梯度消失问题缺点:死亡ReLU问题3、复合函数。原创 2023-07-26 19:21:53 · 195 阅读 · 1 评论 -
机器学习笔记——前馈神经网络
对于多分类问题,若使用Softmax回归分类器,相当于最后一层设置m个神经元,其输出经过Softmax函数进行归一化后可作为每个类别的条件概率。上述内容为本人观看邱锡彭教授《神经网络与深度习》所做的笔记,想要深入了解,请观看相关课程。下图中,超参数需要自己定义,参数由学习得到,活性值是不断变化的。可以以任意精度来近似任何一个在实数空间中的有界闭函数。3、整个网络中无反馈,信号从输入向输出层单向传播。1、各神经元分别属于不同的层,层内无连接。2、相邻两层之间的神经元全部两两连接。原创 2023-07-26 20:03:49 · 419 阅读 · 1 评论