机器学习
文章平均质量分 91
心若向阳,何谓悲伤
这个作者很懒,什么都没留下…
展开
-
CNN训练注意事项与框架使用
一、CNN训练注意事项神经网络训练采用的方法是SGD,严格意义上是Mini-batch SGD。过程如下:1、SGD过程不断循环如下过程:(1)采样一个 batch 数据(比如 32 张 , 可以做镜像对称):即每次是在这32张图片里求梯度,不是全局也不是一张。在采样数据的过程中可以对图像做镜像对称,镜像对称并不影响图像内容。(2)前向计算得到损失loss。(3)反向传播计算一个batch上的梯度。为什么是一个batch上的梯度而不是一张图片上的梯度呢?因为一张一张的做非常耗时间,而且损失函数并原创 2022-01-05 21:15:59 · 924 阅读 · 0 评论 -
卷积神经网络CNN
一、什么是神经网络如上图所示,神经网络由输入层、隐藏层和输出层组成,每一层都由若干结点组成,每一个结点可以视为一个神经元。1、逻辑回归逻辑回归是一种广义的线性分类回归模型。逻辑回归的因变量是可以二分类,也可以多分类,但是二分类更为常用。上面函数通过线性拟合得到z,再将z代入到Sigmoid函数中得到了a。如上图所示,纵坐标是a,当(z,a)=(0,0.5)时正好是整个图像的分界点。当z>0,说明函数值a在0.5的上方,属于一个类别;当z<0说明函数值a在0.5的下方,属于另一个类别原创 2022-01-04 11:40:54 · 1091 阅读 · 0 评论 -
梯度下降与反向传播
一、梯度下降1、损失函数可视化我们在上一篇文章KNN算法与线性分类器中介绍了得分函数与损失函数,这里不在详细介绍。梯度下降的核心目标就是找到合适的权重参数W,使得损失函数的值达到最小。找权重参数W的过程就是最优化的过程。在实际应用中损失函数往往定义在非常高维的空间,例如上一篇文章中W是一个10*3073的矩阵,相当于总共有30730个参数,我们的方法就是把高维投射到一维向量或二维平面上,从而能直观的观察到一些变化。这就是损失函数可视化。随着权重的变化会得到一个损失函数曲线,如上图所示,我们找到一个原创 2022-01-02 16:11:56 · 1241 阅读 · 0 评论 -
KNN算法与线性分类器
图像识别的核心问题:矩阵。图像识别的任务就是给定图像即矩阵后,对矩阵去做图像识别,以得到一组概率,以此来判断图像的所属类别。图像识别的困难之处:准确率一直提升不上去。准确率提升不了的原因主要有如下几个:1、图片视角不同:每个事物旋转或者侧视最后的构图都完全不同。2、图片尺寸大小不统一:相同内容的图片也可大可小。3、图片变形:很多东西处于特殊的情形下,会有特殊的摆放和形状。4、光影等干扰/幻象5、背景干扰6、同类内的差异:比如同一事物有多种类别,椅子有靠椅、吧椅、餐椅、躺椅等。图像识别基本流原创 2021-12-31 20:03:57 · 1613 阅读 · 0 评论 -
机器学习中的数学基础
一、微积分1、导数导数的定义:常见的导数:2、导数法则3、梯度和Hessian矩阵3.1 一阶导数和梯度注意,这里加粗的X指的是一个向量。3.2 二阶导数和Hessian矩阵4、二次型的梯度特别的,若A为对称矩阵,则有如下公式成立:5、泰勒级数与极值5.1 输入为标量的泰勒级数展开标量是只有大小没有方向的物理量。我们称满足一阶导数即f’^’’(xk_kk)=0的点为平稳点(候选点),此时如果二阶导数f’’^{’’}’’(xk_kk)>0,则称xk_kk原创 2021-12-21 11:56:52 · 1812 阅读 · 0 评论