qq_43194650的博客

总结 历时差不多3个星期看完第一遍了，总的来说，收货很大，这两本书完全就是配套的，反正对我来说就是没看懂第一本就不可能看懂第二本，然后虽然看的时候告诉自己每个地方都要看懂，但是代码还是很多都没有看懂，害。等有时间一定要二刷，争取把全部代码都搞懂，后面代码部分，其实只有第一本梯度下降是真的都搞懂了，后面的部分感觉都是水过去的，就是那种一个上午就能看完一章的这种，，，害 二刷的时候，希望自己把代码尽可能多的搞懂，毕竟，nlp的话工程能力是很重要的 ...

目录整个过程梳理1 只有两个数据2 踩用多批次 整个过程梳理 假设只有两层神经网络如下图： 1 只有两个数据 若只有2个数据，则 1 数据先输入神经网络，然后在第一层进行计算，计算之后采用sigmoid函数进行变换。这里将有一批权重W1和偏置b1这里注意，并不是说只有W1和b1两个数，而是说有一批W1和b1，它们对于不同的神经元节点是不同的值，初始化的时候采用符合高斯分布的随机数进行初始化 2 然后传入第二层进行计算，使用softMax进行变换，然后输出。这里和上面一样有W2和b2 3 输出之后若使用交叉

目录问题问题解答1 numerical_gradient函数2 loss函数问题解答 问题 书上对应的位置是108页的这一块，具体疑惑已经写在下面了。 或者也可以说111页，如下。 问题解答 1 numerical_gradient函数 一步一步看问题，首先贴出numerical_gradient的代码实现如下： def numerical_gradient(f, x): h = 1e-4 # 0.0001 grad = np.zeros_like(x) it = np