机器学习中的数学-13-随机梯度下降算法综述

于 2020-12-15 13:10:14 发布
阅读量368 收藏 1
点赞数 1
分类专栏： # 机器学习中的数学 论文学习 文章标签： 数学 论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36113741/article/details/111191202
版权

论文公开课-随机梯度下降算法综述

文章基本信息

在这里插入图片描述

文章主要内容及结构

在这里插入图片描述

第一章 简介

在这里插入图片描述
在这里插入图片描述

第二章 随机梯度下降法

在这里插入图片描述
小批量的大小一般不作为超参数，可以直接定死。（一般几十到几百不等）
对于总样本，每次计算完梯度后，将样本随机打乱再分成相同大小的批量，以防止某一次样本排序的特殊性。

第三章 随机梯度下降法的困难

在这里插入图片描述

第四章 随机梯度下降法的优化算法

为什么不用牛顿法

在这里插入图片描述

动量法

在这里插入图片描述
在这里插入图片描述

动量法的改进算法

在这里插入图片描述

Adagrad

在这里插入图片描述
在这里插入图片描述

Adadelta

在这里插入图片描述
在这里插入图片描述

Adam

在这里插入图片描述

如何选择算法

一句话：看情况
在这里插入图片描述

第五章 SGD并行与分布式架构

在这里插入图片描述

第六章 SGD的其他优化方法

在这里插入图片描述
权限&免责&交流声明

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值