deep learning
「已注销」
这个作者很懒,什么都没留下…
展开
-
正则线性模型之岭回归(Ridge Regression)、套索回归(Lasso Regression)、和弹性网络(Elastic Net)
正则线性模型减少过度拟合的一个好办法就是对模型正则化(即约束它):它拥有的自由度越低,就越不容易过度拟合数据。比如,将多项式模型正则化的简单方法就是降低多项式的阶数。对线性模型来说,正则化通常通过约束模型的权重来实现。接下来我们将会使用岭回归(Ridge Regression)、套索回归(LassoRegression)及弹性网络(Elastic Net)这三种不同的实现方法对权重进行约束。岭回归岭回归(也叫作吉洪诺夫正则化)是线性回归的正则化版:在成本函数中添加一个等于的正则项。这使得学习中原创 2020-05-24 16:35:28 · 1762 阅读 · 0 评论 -
详解批量梯度下降法(BGD)、随机梯度下降法(SGD)和小批量梯度下降法(MBGD)
阅读目录批量梯度下降法BGD随机梯度下降法SGD小批量梯度下降法MBGD总结批量梯度下降法BGD随机梯度下降法SGD小批量梯度下降法MBGD总结在应用机器学习算法时,我们常采用梯度下降法来对才用的算法进行训练。梯度下降法有三种不同的形式:批量梯度下降(Batch Gradient Descent)、随机梯度下降(Stochastic Gradient Descent)以及小批量梯度下降(Mini-Batch Gradient Descent)。接下来,我们将对这三种不同的梯度下降法进行理解。梯度原创 2020-05-19 09:53:45 · 11486 阅读 · 0 评论 -
梯度下降算法详解--原理
简介:梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。反过来,如果我们需要求解损失函数的最大值,这时就需要用梯度上升法来迭代了。在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机梯度下降法和批量梯度下降法。梯度下降的场景假原创 2020-05-09 09:54:33 · 1759 阅读 · 0 评论 -
矩阵的Hadamard 乘积,s ⊙ t
假设s 和t 是两个同样维度的矩阵。那么我们使⽤s ⊙ t 来表⽰按元素的乘积。给个例⼦:这种类型的按元素乘法有时候被称为Hadamard 乘积,或者Schur 乘积。...原创 2020-04-29 16:17:36 · 2670 阅读 · 0 评论 -
神经网络之:感知器与S型神经元
感知器的表达形式如下:⽹络中单个感知器上⼀个权重或偏置的微⼩改动有时候会引起那个感知器的输出完全翻转,如 0 变到 1。那样的翻转可能接下来引起其余⽹络的⾏为以极其复杂的⽅式完全改变。我们希望的是每次学习的过程中,逐步修改权重和偏置来让网络产生更好的输出。我们可以引⼊⼀种称为 S 型神经元的新的⼈⼯神经元来克服这个问题。S 型神经元和感知器类似,但是被修改为权重和偏置的微⼩改动只引起输出的微...原创 2020-04-29 11:23:06 · 428 阅读 · 0 评论 -
卷积是什么?使用opencv与python进行图像卷积 Convolutions with OpenCV and Python
图像卷积是什么?图像卷积是计算机视觉,图像处理领域经常用到的操作,比方说模糊操作(blurring),平滑操作(smoothing),以及边缘检测(edge detection)等都是卷积操作。卷积操作是计算机视觉以及图像处理领域中最重要以及最基础的操作之一。我们可以简单理解卷积是对两个矩阵进行按元素(element-weise)的乘法,然后再对得到的矩阵结果个元素求和。所以,在实际中,卷积...原创 2020-04-17 19:20:32 · 505 阅读 · 0 评论