动手学深度学习
TigaFeng
这个作者很懒,什么都没留下…
展开
-
第7章 优化与深度学习
7.2.4 随机梯度下降 在深度学习中,目标函数通常是训练数据集中有各个样本损失函数的平均。 损失函数: f(x)=1n∑i=1nfi(x) f(x)= \frac{1}{n}\sum_{i=1}^nf_i(x) f(x)=n1i=1∑nfi(x) n是训练数据样本数 x是模型的参数向量 随机梯度下降(stochastic gradient descent, SGD)减小了每次迭代的计算开销。 而随机梯度下降在每次迭代中只随机采样⼀个样本来计算梯度 7.3 小批量随机梯度下降 使用一个小批量的平均原创 2020-11-18 20:00:37 · 351 阅读 · 0 评论 -
第三章 深度学习基础
跟着《动手学深度学习》学习 3.2 线性回归的从零开始实现 书中使用的是mxnet,我参照着并用numpy自己实现。具体题目可看书中3.2章节。 import numpy as np import matplotlib.pylab as plt num_inputs = 2 num_examples = 1000 true_w = [2, -3.4] true_b = 4.2 # 定义数据 features = np.random.normal(scale=1, size=(num_examples,原创 2020-11-04 16:50:13 · 815 阅读 · 0 评论