深度学习入门1——Optimization RMSProp算法不是像AdaGrad算法那样暴力直接的累加平方梯度，而是加了一个衰减系数来控制历史信息的获取多少。AdaGrad 根据平方梯度的整个历史收缩学习率，可能使得学习率在达到这样的凸结构前就变得太小了。然而，经验上已经发现，对于训练深度神经网络模型而言，从训练开始时积累梯度平方会导致有。具有损失最大偏导的参数相应地有一个快速下降的学习率，而具有小偏导的参数在学习率上。净效果是在参数空间中更为平缓的倾斜方向会取得更大的进步。缩放每个参数反比于其所有梯度历史平方值总和的平方根。
机器学习中的线性代数 我们来分析一下特征值分解的式子，分解得到的Σ矩阵是一个对角矩阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变换方向（从主要的变化到次要的变化排列）。假设A是一个m*n的矩阵，那么得到的U是一个m*m的方阵，U里面的正交向量被称为左奇异向量。Σ是一个m*n的矩阵，Σ除了对角线其它元素都为0，对角线上的元素称为奇异值。v^T是v的转置矩阵，是一个n*n的矩阵，它里面的正交向量被称为右奇异值向量。其中，λ是特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。
机器学习小结 Least mean square rules LMS Locally weighted linear regression LWR sigmoid function peception learning algorithm Newton's method exponential family softmax regression Gaussian discriminant analysis Na
7.29训练总结 容易发现这种构造方式得到的串的0/1取决于二进制表示下1的个数的奇偶性，奇数个就是1，偶数个就是0。那么问题转换为从0开始和从n开始的m个数，有多少二进制下1的个数的奇偶性不同，然后就数位dp即可。注意使用1<<w的时候，如果w是大于31记得改成1ll！这种使得整个串不包含子串’abc’的题目，发现可以用线段树维护。
7.27训练总结 还有最后一题的需要卡时间，可以使用64位机的long long运算较快来优化。个别题目的代码有一些小细节错误了，应该注意提升。今天整体题目较简单，全部赛事通过，所以没有补题。当然，也可以O(1)推式子解决。
7.26训练总结 考场错误：A题由于问号没有改成井号，一直再调，一直没发现错误，然后依次做完了CBDHI，然后再通过手捏了一个比较大的样例，找到了这个低级错。然后完成了E题之后，写F的过程中，由于写错了拓扑序的bfs的一些细节，F还wa了三发，最后总计完成了8题，仍然是罚时较多。
7.25训练总结 考场错误：A题其实并不简单，但是先想了一个方法后，就交了，wa了后一直卡住，策略不当，到最后后期写C的时候也犯了一些低级的错误，这点需要注意。之后顺利的把BCDHI写完后，又完成了A的改正补充，最后又把G完成了，最终做出了7个题，但罚时最多，应该注意正确率。
7.23训练总结 I题目的树形dp，应该注意这个是由叶子节点向上贡献的， 应该考虑去使用树形dp。还有就是E题，忘记考虑特殊的情况，RE了好几发，应该多加注意。构造题好久没想出来，就差个3*3的部分，还是要继续练练啊。
7.21训练总结 考场错误、经验：今天的前几题，难度比较小，但是我罚时有点多，这个需要改进当做到博弈论的题目时，忘记了sg函数的相关知识定义，导致一直卡住然后看了GH没什么人做，所以也没有仔细思考，一直卡在博弈论的题目上这点应该注意，一道题目确定做不出来就要及时放弃，去做其他的题目sg函数要注意，还有n∗m≤1e5要注意较小值一定1e5，这个性质要注意，还有最后一题，看到两条没有点重合的路径，就应该想到点双连通分量，继而想到广义圆方树的做法。
关注
