NNDL 实验八 网络优化与正则化（3）不同优化算法比较 这次主要写了一些优化算法的比较，当学习率在迭代早期降得较快且当前解依然不佳时，AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。RMSProp算法对AdaGrad算法做了一些改进，并且结合了momentum中指数加权移动平均的思想。AdaDelta算法跟RMSProp算法的不同之处在于使用来替代学习率η . Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均。优化算法。
NNDL 作业11：优化算法比较 最底下是弧线，所以有全局最小值 底部弧度很小，下降方向基本沿着y轴，很多地方没有指向（0，0） 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点SGD方法的一个缺点是，其更新方向完全依赖于当前的batch，因而其更新十分不稳定。解决这一问题的一个简单的做法便是引入m
NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验 使用LSTM模型重新进行数字求和实验，验证LSTM模型的长程依赖能力。使用第6.1.2.4节中定义Model_RNN4SeqClass模型，并构建 LSTM 算子．只需要实例化 LSTM ，并传入Model_RNN4SeqClass模型，就可以用 LSTM 进行数字求和实验。得到以下结果： 这里我们可以将自己实现的SRN和Paddle框架内置的SRN返回的结果进行打印展示，实现代码如下得到以下结果：可以看到，自己实现的LSTM由于没有考虑多层因素，因此没有层次这个维度，因此其输
NNDL 作业10：第六章课后题（LSTM | GRU） 这次的作业主要写的就是LSTM和GRU网络，我感觉这两个网络差不太多，其实也是，都是为了解决RNN的长程依赖问题，在上面的作业里对GRU和LSTM也进行了推导和比较，推导的过程还是有些难度，很多式子要看好久才能明白，这次的实验也借鉴了很多别人的文章，在接下来的几次实验中要更加注意。Wx_k+bWx_k+
NNDL 实验七 循环神经网络（2）梯度爆炸实验 范数(norm)是线性代数中的一个基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式，它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。划重点：非负性、齐次性、三角不等式。外文名：n o r m normnorm作用：常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。记号：f ( x ) = ∥ x ∥我们常用表示具体范数，其中下标s y m b symbsymb是区分范数的助记符号，如、、、范数。
NNDL 实验五 前馈神经网络（3）鸢尾花分类 这个明显比学习率是0.2的时候差太多了，不可取。再把学习率lr=0.3得到以下结果：结果更差了，这说明4个神经元不如6个神经元，那我们再把神经元改成8个lr=0.2：这个效果也不好，再改成lr=0.5发现效果不如lr=0.7了，经过多次测试后，找到了结果，在8个神经元lr=0.7的时候达到了最好的结果这次的实验是用前馈神经网络对iris进行分类，而在做这次实验之前，已经做过了SVM和softmax对iris的分类，所以正好可以很方便的对这三种方法对iris分类进行对比。
NNDL 作业4：第四章课后题 这次的作业有三个是上次做过的，但是毕竟上次的实验是整体的，并没有太过于深究这些问题，这次的作业中根据上次实验的基础增加了一些新的内容，这样可以对这些问题理解更深彻。关于这次作业最让我不懂的就是习题4-2，有没有一种方法可以让正确率达到100%呢？而这次作业最大的收获就是反向传播算法中参数的设置问题，虽然上次实验中已经得到权值和偏置不能全为0的结论，并且上手实验，但是这次的作业补充了理论知识，
关注
