梯度下降

最新推荐文章于 2020-11-17 22:26:25 发布

cj1064789374

最新推荐文章于 2020-11-17 22:26:25 发布

阅读量92

点赞数

分类专栏：机器学习（MOOC笔记原理）

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/cj1064789374/article/details/87950344

版权

机器学习（MOOC笔记原理）专栏收录该内容

29 篇文章 1 订阅

订阅专栏

在这里插入图片描述
梯度下降变形：动量算法，Nesterov算法，共轭梯度法（每走一步该方向都要与前面走过的方向正交，参考线性代数正交化），有多少维就走多少步，不过每一步都要与前面走过的方向正交

另外，步长（学习率）也是可以改变的：每次往梯度方向分别尝试移动step步长与step/2步长，取函数值更小的那个步长循环迭代操作

PS：自然梯度法有时间再弄懂

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
梯度下降

梯度下降，动量算法，Nesterov算法代码待补充另外，步长（学习率）也是可以改变的：每次往梯度方向分别尝试移动step步长与step/2步长，取函数值更小的那个步长循环迭代操作...
复制链接

扫一扫

专栏目录

cj1064789374 CSDN认证博客专家 CSDN认证企业博客

码龄7年

548: 原创

3万+: 周排名

190万+: 总排名

60万+: 访问

: 等级

9153: 积分

272: 粉丝

498: 获赞

106: 评论

1661: 收藏

私信

关注

热门文章

分类专栏

最新评论

计算机组成浮点数补码规格化负数表示范围
做而论道_CS: 至于移码，可以理解为：　对二进制数的 ”加密、解密“。加密：二进制数＋偏移量＝移码。解密：移码－偏移量＝二进制数。偏移量，是神马数值呢？　在不同的应用场合，偏移量有不同的数值。　　到时候，你就知道了。这种加解密的方法，也太简单了！　小事一桩，不值一提。
计算机组成浮点数补码规格化负数表示范围
做而论道_CS: 另外，由补码换算到十进制数，也极其简单。你只需记住：【补码首位的权，是负数】。一般的八位二进制数，各个位的权是：　　128、64、32、16、8、4、2、1；如果是八位的补码，各个位的权则是：　－128、64、32、16、8、4、2、1。　例如，有一个补码：1110 0001，它代表的十进制是：－128 + 64 + 32 + 1= －31。再看，另一个补码：0110 0001，它代表的十进制是：0 + 64 + 32 + 1 = ＋97。仅仅使用【进制转换】，不就完事了！－－－－－－－－－－－－－－－－－－－－－－那么，所谓的：　机器数真值符号位原码反补码正数三码与正数相同　负数取反加一符号位不变符号位也参加运算模同余 ... 这一大堆乱七八糟的概念，不都是垃圾嘛！进位，是小学二年级的知识点吧？　舍弃进位，很难理解吗？　老外竟然能弄出那么大一堆概念！　老外的数学水平，由此可见一斑。谁要是跟老外学算术，立刻、马上，直接就掉沟里去了！我们的计算机老师，也不懂数学，只知道跟风。　一天一天的，在大学里，兜着圈子讲小学的知识。　真是毁人不倦坑人不浅！这些老师，捡个鞋拔子就当成玉如意了。　天天蒙骗学生，赚取名声和丰厚的讲课费。　　顺便再抓几个学生挂科，抖一下威风！现在知道我们缺芯片用的原因了吧！
计算机组成浮点数补码规格化负数表示范围
做而论道_CS: 在两位十进制中，舍弃进位，就是【减去了一百】。因此，加 99、再减 100，当然就是 “－1” 了。同理，+98，就是 “－2” 。。。。　。。。二进制数，也是数，并非是什么原码反码补码。八位二进制数就是：0000 0000 ~ 1111 1111。就相当于十进制数：0 ~ 255。如果有进位，就是：256。那么，加 255、减 256，也就是 “－1” 了！所以，+255 (1111 1111)，就是－1。同理，+254 (1111 1110)，就是－2。　　　+253 (1111 1101)，就是－3。　　　。。。　。。。最后，+128 (1000 0000)，就是－128。以上这些正数，就是计算机专家 “发明” 的补码。你如果上过中学，你一定能导出关系式：　负数的补码 = 256 ＋该负数。一般化，就是：　负数的补码 = 2^n ＋该负数。　n，是二进制数的位数。例：求－31 的 “补码” 是多少？解：256－31 = 225 = 1110 0001 (二进制)。这不就求出来了吗？哪里还用：符号位原码反码取反加一！同样，求正数的补码，也是用此公式：　正数的补码 = 2^n ＋该正数。　n，是二进制的位数。但是，正数加上 2^n，就会出现进位。进位必须舍弃，所以，2^n 就不用加了。因此，你就可以简化公式如下：　正数的补码 = 该正数。在此处，你就证明了：　零和正数的补码，就是该数本身。计算机专家，也曾这么说过。　但是，他们并没有给出证明。为什么呢？　因为，他们弄不懂什么是舍弃进位。
计算机组成浮点数补码规格化负数表示范围
做而论道_CS: 虽然，计算机使用的是：二进制数。但是，二进制数，也是数。　并不是什么：机器数原码反码补码。二进制数本身，就是真值。所谓的 “补码”，也不仅仅是二进制才有。任意的进制，都有 “补码” 存在。你看十进制吧，两位数，就是：0 ~99。可以有：27 + 99 (一百) 26 　　　　27 － 1 = 26 只有你忽略进位，仍然取两位数，　这两种算法，就是相同的。即，舍弃进位，就可以：　用正数，当做负数；　用加法，实现减法运算。在计算机中，舍弃进位，会怎样？　能够简化硬件。　只用一个加法器，便可横行天下！你如果懂得什么是【舍弃进位】，　你就能理解 “补码” 的来历与意义。
计算机组成浮点数补码规格化负数表示范围
做而论道_CS: 弄懂了 “补码“，就可以讨论范围了。－－－－－－－－－－－－－－－－－－－八位二进制，共有 256 个数：0 ~ 255。可以表示带符号数：－128 ~ ＋( 128－1 )。此时，小数点，在末尾：XXXX XXXX(.)。计算机专家，把这种形式，称为 “定点整数”。－－－－－－－－－－－－－－－－－－－如果把小数点左移一位，其范围，就应该除以 2；如果把小数点左移两位，其范围，就应该除以 4；。。。如果把小数点左移七位，其范围，就应该除以 128。这就是计算机专家所说的 ”定点小数“：　　X(.)XXX XXXX。其范围就是：－1 ~ ＋( 1 － 1 / 128 )。

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。