- 博客(8)
- 收藏
- 关注
RSS订阅原创 动手学深度学习
14 数值稳定性 梯度爆炸的问题 超出值域 对学习率敏感 如果学习率太大-大参数值（大权重）-更大的梯度（梯度就是权重的乘法）-更大的参数值 如果学习率太小-训练无进展 需要在训练过程不断调整学习率 学习率可能只有在很小的范围才是好的 梯度消失 当sigmoid函数的输入很大或是很小时，它的梯度都会消失。 此外，当反向传播通过许多层时，除非我们在刚刚好的地方， 这些地方sigmoid函数的输入接近于零，否则整个乘积的梯度可能会消失。 当我们的网络有很多层时，除非我们很小心，否则在某一层可能会切断梯度。
2021-12-13 20:14:55
1060
原创 动手学深度学习3
直接安装Anaconda3软件，再在其命令行中p以下即可，已成功 pip install torch torchvision -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com pytorch jingxiang
2021-11-04 10:26:57
60
原创 Python
列表解析将 for 循环和创建新元素的代码合并成一行，并自动附加新元素. squares = [value**2 for value in range(1,11)] print(squares) # [1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
2021-10-25 10:52:02
63
原创 keras
深入理解 keras 中 Dense 层参数 Dense 实现的操作为：output = activation(dot(input, kernel) + bias) 其中 activation 是按逐个元素计算的激活函数，kernel 是由网络层创建的权值矩阵，以及 bias 是其创建的偏置向量 (只在 use_bias=True 时才有用)。 注意: 如果该层的输入的秩大于2，那么它首先被展平然后 再计算与 kernel 的点乘 ...
2021-10-23 14:07:35
150
原创 ML HW2-1
import torch from torch.utils.data import Dataset class TIMITDataset(Dataset): def __init__(self, X, y=None): self.data = torch.from_numpy(X).float() if y is not None: y = y.astype(np.int) self.label =import tor
2021-08-09 17:44:01
115
原创 2021-07-18
2019年CS224N课程笔记-Lecture 1: Introduction and Word Vectors cs224n学习笔记 2
2021-07-18 15:14:32
82
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人