[李宏毅-机器学习]梯度下降Graident Descent

最新推荐文章于 2021-07-13 19:10:53 发布
最新推荐文章于 2021-07-13 19:10:53 发布
阅读量324 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py184473894/article/details/104263110
版权

 

AdaGrad

每个参数都有自己的learning rate

梯度下降最好是一步到达local minim

所以最好的step是一阶导数/二阶导数

adagrad就是使用原来所有的微分平方和代替二次微分，能够减少二次微分计算量

？？？为什么可以这么做？还不是很懂 如何代替

 

随机梯度下降Stochastic Gradient descent

随机选取一个样本，进行gradient descent

 

Feature scaling

其实就是归一化，把各个特征归一化到同一范围

 

梯度下降理论

在x很接近x0的时候，可以使用一阶导数近似

考虑泰勒展开二次导数-牛顿法

 

 

炼丹师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Gradient Descent
liupc的学习笔记
01-18 7852
//李宏毅视频官网：http://speech.ee.ntu.edu.tw/~tlkagk/courses.html                                                    点击此处返回总目录 //邱锡鹏《神经网络与深度学习》官网：https://nndl.github.io       今天要讲的是Gr...
梯度下降（Gradient Descent）小结
weixin_34221276的博客
10-17 3304
　　　　在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)...
数据挖掘十大算法翻译——2K-means
xion的专栏
11-23 1519
1 算法 K-means算法是一个能够将给定的数据集分为用户定义的数量k个类的简单的迭代算法。很多研究者从不同的研究方向都发现了这个算法，其中特别显著的由Lloyed，Forgey，Friedman和Rubin，和McQueen。k-means的详细历史要追溯到下面的几个改变。Gray和Neuboff将k-means置于爬山算法的环境中为其提供了一个良好的历史背景。 这个算法作用在d维的向量上，D=
什么是梯度
guanhuazhan的博客
07-01 4万+
机器学习/深度学习中，需要使用训练数据来最小化损失函数，从而确定参数的值。而最小化损失函数，即需要求得损失函数的极值。 求解函数极值时，需要用到导数。对于某个连续函数f(x)f(x)f(x)，令其一阶导数 f′(x)=0f'(x)=0f′(x)=0 ，通过求解该微分方程，便可直接获得极值点。但当变量很多或者函数很复杂时，f′(x)=0f'(x)=0f′(x)=0...
强化学习(六)：价值函数的逼近(近似)
02-18 1万+
在强化学习(五)：Sarsa算法与Q-Learning的学习中，我们都是假设状态是有限的，而且数量也不多，就像例程中都是使用格子世界，每个格子代表一个状态。 但是，现在让我们来假设我们在下围棋，每下一个子就是一种状态，那么这些状态就非常多了，如果在程序中要用一个表格来表示状态与状态对应的值函数的话，那么内存就远远不够用了。 另外，当状态不是离散的时候，就无法用表格来表示了。所以，我们需要另外的...
李宏毅机器学习笔记-3 梯度下降（Gradient Descent）
Memory
05-20 913
3 Gradient Descent - 梯度下降 1 为什么要用 Gradient Descent 首先让我们回顾一下机器学习的三部曲， 在 step 2 中，我们要定义一个 Loss Function，用来判断我们找出的函数的好坏。 在 step 3 中，我们要挑出一个可以使得 Loss 函数值最小的一个函数，当做最好的函数。 想一想我们以前是怎么求一个函数的最小值的，或许看...
2021李宏毅机器学习笔记--3.gradient descent梯度下降
guoxinxin0605的博客
04-19 214
2021李宏毅机器学习笔记--3.gradient descent梯度下降梯度下降基本步骤step 1：设定初始值step 2：计算微分step 3：移动到下一步梯度下降的注意事项tip 1：turning your learning rates ηAdagrad一种梯度下降的优化算法tip 2：stochastic gradient descent随机梯度下降tip 3：feature scaling特征缩放梯度下降的限制 梯度下降基本步骤 梯度下降法是用于帮助我们找到一个函数集中最好的函式，也就是损失函
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
李宏毅-机器学习(视频2017完整)
10-09
这是台湾李宏毅的机器学习视频，是2017年秋季的。包含完整视频PDF格式的PPT。想赚点积分能够去下载一些资源，所以各位请见谅。内是网盘下载地址。
台大-李宏毅-B站机器学习视频-课件
01-08
【机器学习】 在机器学习领域，无监督学习是一种重要的学习方法，它主要处理没有标签的数据，通过发现数据内在的结构或模式来进行学习。【Deep Auto-encoder】是无监督学习的一种模型，它用于降低数据的维度并进行...
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
优化算法综述
学习日常记录
07-13 4万+
依据 分类 具体算法 分类名 全局优化 遗传算法（GA）、帝国竞争算法（ICA）、 粒子群优化（PSO） 局部优化 模拟退火（SA）、贪婪算法（Greedy）、 邻域搜索（NS） 是否精确算法 精确算法 线性规划（LP）、分支定界法 ...
机器学习入门系列04，Gradient Descent（梯度下降法）
yofer张耀琦的专栏
03-27 3万+
什么是梯度下降法？学习速率的引入；如何调整学习速率；Adagrad算法介绍；用泰勒展开式对梯度下降法进行数学理论支持
直观理解 梯度（gradient）
Vic_Hao的博客
03-02 11万+
梯度 在机器学习中，我们通常需要对问题进行建模，然后可以得到一个成本函数(cost function)，通过对这个成本函数进行最小化，我们可以得到我们所需要的参数，从而得到具体的模型。这些优化问题中，只有少部分可以得到解析解(如最小二乘法)，而大部分这类优化问题只能迭代求解，而迭代求解中两种最常用的方法即梯度下降法与牛顿法。 梯度概念是建立在偏导数与方向导数概念基础上的。所谓偏导数，简单来说是对于...
机器学习知识点
热门推荐
I'm Venter
06-07 11万+
机器学习相关知识<meta charset='utf-8'><link href='https://dn-maxiang.qbox.me/res-min/themes/marxico.css' rel='stylesheet'><div id='preview-contents' class='note-content'>            
梯度下降算法---Gradient Descent
nl的博客
12-04 622
1，随机初始化θ\theta; 2，沿着负梯度方向迭代，更新后的θ\theta使得目标函数更小； θ=θ−α∂J(θ)∂θ\theta=\theta-\alpha \frac{\partial J(\theta)}{\partial \theta} 其中α\alpha是学习率或步长； J(θ)=12∑mi=1(hθx(i)−y)2J(\theta)=\frac{1}{2}\sum_{i=1}
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
最新发布
08-14
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
深度探索：神经网络在图像识别中的革命性应用
08-14
神经网络是一种受人脑结构启发的数学模型，它由大量的节点（或称为“神经元”）相互连接构成。这些节点通常组织成层，包括输入层、隐藏层和输出层。每个神经元可以接收来自前一层的输入，通过某种激活函数处理这些输入，然后将结果传递给下一层的神经元。 神经网络能够通过学习大量的数据来识别模式和特征，这使得它们在图像识别、语音识别、自然语言处理等领域有着广泛的应用。它们也可以用于预测、分类和回归等任务。 训练神经网络通常涉及到一个称为“反向传播”的过程，通过这个过程，网络可以调整其内部参数（权重和偏置），以便更好地完成特定的任务。这个过程通常需要大量的计算资源，并且伴随着梯度下降或其他优化算法来最小化损失函数，从而提高模型的性能。 随着深度学习技术的发展，神经网络变得更加复杂和强大，出现了各种类型的网络结构，比如卷积神经网络（CNNs）用于图像处理，循环神经网络（RNNs）用于序列数据，以及长短期记忆网络（LSTMs）等。
基础会计教学课件第十一章财务会计报告.pptx
08-14
基础会计教学课件第十一章财务会计报告.pptx
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值