积少成多

在这里插入图片描述](https://i-blog.csdnimg.cn/direct/2243859b453249dcb8cb616b96646149.png。第四步：另存PPT为图片：文件-另存为-保存类型-Png-保存。修改宽度和高度，比图片的宽高均大0.2cm刚刚好。首先看想要保存的图的尺寸：点击图形-格式-长宽。新建一个ppt-设计-幻灯片大小-自定义大小。选择导出当前的PPT，就可以得到清晰的图片了。按照图中设置：高级-

资料汇总

excel设置自动更新日期

建模数据查找合集

好用学习网址

1.什么是adam？adam的全称是adaptive moment estimation （适应性矩估计），是一种随机优化算法，高级的梯度下降优化算法，首次提出于Diederik P . Kingma和Jimmy Lei Ba的“ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION”论文中。......

1.前提如图所示，梯度下降算法中，我们假设横轴代表W的方向，纵轴代表b的方向，我们想要减缓消除纵轴上的摆动，加快或保持横轴上的移动。此时我们可以采用RMSprop。2.RMSprop我们先看公式：dw表示在横轴方向上的变化，横轴上变化量较小，所以dw的二次方数值较小，则Sdw的数值较小；db表示纵轴方向上的变化，纵轴上变化量较大，所以db的二次方数值较大，则Sdb的数值较大。w被一个较小的数消除，w变大，b被一个较大的数相除，b变小如图所示，绿色代表RMSprop。这样就实现了减缓纵轴的震荡

当我们使用BGD或mini-batch算法时，我们会发现梯度的下降如上图所示是来回起伏的，这样在计算到最小值时仍然需要一定的时间，现在想要消除减缓这个波动，就用到了动量梯度下降法。一般β取0.9，这和我们之前提过的指数加权平均相同，用过去的平均值和现在的值共同决定。...

β一般取0.9，我们现在计算V100，把式子全部代入得：可以看出V100为第100天的数值θ100加上它之前所有天的平均值，那到底是多少天的平均值呢？当算到0.9的十次方的时候，已经是0.35了，系数已经很小了。后面0.9的11.12等等次方可以忽略不计了，也就是说，其实是过去十天数据的平均值。...

1.什么是mini-batch把训练集分为数个子训练集，比如每个子训练集中包含1000个单个样本，子训练集就被成为mini-batch。2.损失函数的曲线我们发现出现了噪声，这些噪声产生的原因是，我们的子训练集是难以训练的，不可能一直下降，所以出现摆动正常的，我们需要决定的变量是训练集的大小。3.mini-batch大小的确定当训练集的大小等于整个训练集的个数m时，此时为BGD算法，它的噪声很小，能准确的找到最小值，但是数据量多时，它的运算时间太长，因为它要把所有的样本都训练一遍。相反，当训练

1.结构从左到右依次是输入层、隐藏层、输出层神经网络的层数从隐藏层算起，输入层为第零层，所以上图是双层神经网络。隐藏层和输出层是带有参数的。2.输出计算隐藏层中的每个节点都进行这这种计算，先计算Z，再计算激活函数。例如下图中的隐藏中的四个节点：3.激活函数σ函数除非二元分类要用，其它场合几乎不用。tanh函数：不同层的激活函数可以不一样。tanh函数可以使用于几乎所有场合，它的效果比σ函数要好，但如果输出要求y是0或1这种二元分类情况时，应使用σ函数。ReLu函数：Z为正时，斜率为1

利用python中的numpy实现向量化z=np.dot(a,b)例子：已知一个矩阵v，想做指数运算另矩阵u等于矩阵v的指数运算1. 非向量化的运算用for循环实现：一开始先把矩阵u初始化为0，然后利用for循环逐一计算。2.向量化的运算import numpy as npu=np.exp(v)向量化只需要一行代码实现，且计算速度明显提高。3.向量值函数np.log会逐个元素计算lognp.Abs会计算绝对值np.maximum计算所有元素中的最大值…...

http://t.csdn.cn/56uBQ

1.线性回归图中有很多点，横轴代表人口，数轴代表利润，现在我们想找到一条线，来线性拟合这些点的趋势，如下图所示：如何用梯度下降的算法来求线性回归呢，在求解之前我们需要了解损失函数：2.损失函数前一个y代表的是预测值，也就是红线上的点，后一个y代表的是真实值，也就是蓝色的点，式子就是预测值与真实值之差的平方和再累加的结果，例如：图中绿色圈出来的部分，在同一横坐标下，预测值对应的红线上的点，真实值是蓝色的点，它们之间有误差，多个点误差的平方再累加起来就是损失函数结果。θ0代表的就是图中红色直线的截距