![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 63
秋风05
这个作者很懒,什么都没留下…
展开
-
CODECOGS在线LaTeX公式编辑器收费陷阱!
CSDN博客并没有公式编辑器,需要用公式编辑器编写之后再一图片的形式上传。因为这样很不方便,就在网上搜在线LaTeX编辑器:http://www.codecogs.com/latex/eqneditor.php。在线编辑公式之后,直接点击右键,复制图片链接即可: 一直用的挺好的,直到有一天发现我的博客里面的公式全部变成这样的!codecogs这个网站的在线图片是要收费的!但是我在复制链接时并没有提原创 2017-12-20 21:52:44 · 4096 阅读 · 1 评论 -
梯度下降法
梯度下降法是机器学习中的一个常用的优化算法,是入门机器学习的基础。因为其简单,可以快速的寻找最优解,在机器学习中比较常用。但是,梯度下降法也有致命的缺点,比如,对于非凸函数,很容易陷入局部最优解,而无法找到全局最优解。下文将全面介绍梯度下降法的原理、算法以及优缺点。梯度定义 梯度在数学上定义为在某点处的方向导数,是一个矢量,公式定义如下: 对于多元函数f(x1, x2, …, xn),梯度原创 2017-11-24 18:09:09 · 903 阅读 · 0 评论 -
吴恩达学习—Logistic Regression
吴恩达机器学习第一课便是Logistic Regression,这个算法是一种常见的分类算法,因其使用了logistic函数,由此得名。Logistic Regression可以看成0个隐层的神经网络,学通该算法,对研究神经网络有很大帮助。1.正向传播 Logistic Regression 算法如下图所示,假设与y的相关的特征为x,通过输入特征x各分量的线性相加,再经非线性函数变换,就可以得到y原创 2017-12-08 13:56:39 · 1838 阅读 · 4 评论 -
吴恩达学习-浅层神经网络
上一篇文章讲Logistic Regression时,说出Logistic Regression是含有0个隐层的神经网络,本文将介绍含一层隐层的浅层神经网络,浅层神经网络对理解深度神经网络有很大帮助,因为深度神经网络对各层进行优化时,用到的理论也是浅层神经网络。本文也将从正向反向传播介绍浅层神经网络。1.正向传播 浅层神经网络如下下图(图来着吴恩达notebook)所示,它与Logistic Re原创 2017-12-08 17:51:49 · 490 阅读 · 0 评论 -
深度学习解决过拟合问题—正则化
过拟合问题经常发生在深度学习中,需要在loss函数中加入正则化项来解决该问题。本文将会介绍过拟合问题,给出正则化方法的公式,并推导其过程,最后介绍正则化为何可以解决过拟合以及Dropout。1.过拟合过拟合问题在深度学习中是常见的问题,假设做二类分类问题,结果有如下三类(欠拟合、“just right”、过拟合):欠拟合问题是在training数据集中分类能力不够,导致准确度不高,可以通过调整网络结原创 2017-12-20 18:57:12 · 2141 阅读 · 0 评论 -
吴恩达学习-深层神经网络
深度学习是指神经网络包含了很多层的隐层,比如说10层20层这样,有些问题用浅层神经网络不能得到很好的优化,只能通过深层神经网络优化,这是因为深层神经网络有其独特的优势,下面我们就先介绍深层神经网络的优势。1.深层神经网络的优势1.深层神经网络的一大优势就是优化算法的局部最优解问题之前训练浅层神经网络时,经常会陷入局部最优解,而无法找到全局最优解,如下图所示(图来自吴恩达老师讲义)。这种问题出现在深度原创 2017-12-09 17:04:16 · 1051 阅读 · 0 评论 -
深度学习—加快梯度下降收敛速度(一):mini-batch、Stochastic gradient descent
在深层神经网络那篇博客中讲了,深层神经网络的局部最优解问题,深层神经网络中存在局部极小点的可能性比较小,大部分是鞍点。因为鞍面上的梯度接近于0,在鞍面上行走是非常缓慢的。因此,必须想办法加速收敛速度,使其更快找到全局最优解。本文将介绍mini-batch与Stochastic gradient descent方法。1.mini-batch之前的梯度下降法是将训练集所有的梯度计算之后,再更新参数,这样原创 2017-12-21 15:14:17 · 13503 阅读 · 1 评论 -
深度学习—加快梯度下降收敛速度(二):Monmentum、RMSprop、Adam
上篇博客讲的是利用处理(分组数据集)训练数据集的方法,加快梯度下降法收敛速度,本文将介绍如何通过处理梯度的方法加快收敛速度。首先介绍Monmentum,再次介绍RMSprop,最后介绍两种算法的综合体Adam。1.Monmentum在介绍Monmentum之前,首先介绍加权平均法。加入给出一组数据的散点图,要求用一条曲线尽可能准确地描述散点图的趋势,如下图所示(图来自吴恩达课件): 描述时利用加权原创 2017-12-21 17:50:35 · 9113 阅读 · 0 评论