![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
炼奶芋头
这个作者很懒,什么都没留下…
展开
-
动手学深度学习
14 数值稳定性 梯度爆炸的问题 超出值域 对学习率敏感 如果学习率太大-大参数值(大权重)-更大的梯度(梯度就是权重的乘法)-更大的参数值 如果学习率太小-训练无进展 需要在训练过程不断调整学习率 学习率可能只有在很小的范围才是好的 梯度消失 当sigmoid函数的输入很大或是很小时,它的梯度都会消失。 此外,当反向传播通过许多层时,除非我们在刚刚好的地方, 这些地方sigmoid函数的输入接近于零,否则整个乘积的梯度可能会消失。 当我们的网络有很多层时,除非我们很小心,否则在某一层可能会切断梯度。原创 2021-12-13 20:14:55 · 1060 阅读 · 0 评论 -
动手学深度学习3
直接安装Anaconda3软件,再在其命令行中p以下即可,已成功 pip install torch torchvision -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com pytorch jingxiang原创 2021-11-04 10:26:57 · 60 阅读 · 0 评论 -
Python
列表解析将 for 循环和创建新元素的代码合并成一行,并自动附加新元素. squares = [value**2 for value in range(1,11)] print(squares) # [1, 4, 9, 16, 25, 36, 49, 64, 81, 100]原创 2021-10-25 10:52:02 · 63 阅读 · 0 评论 -
P-NET
基因矩阵转置文件格式(* .gmt) R读取gmt文件原创 2021-10-24 20:08:49 · 150 阅读 · 0 评论 -
keras
深入理解 keras 中 Dense 层参数 Dense 实现的操作为:output = activation(dot(input, kernel) + bias) 其中 activation 是按逐个元素计算的激活函数,kernel 是由网络层创建的权值矩阵,以及 bias 是其创建的偏置向量 (只在 use_bias=True 时才有用)。 注意: 如果该层的输入的秩大于2,那么它首先被展平然后 再计算与 kernel 的点乘 ...原创 2021-10-23 14:07:35 · 150 阅读 · 0 评论 -
ML HW2-1
import torch from torch.utils.data import Dataset class TIMITDataset(Dataset): def __init__(self, X, y=None): self.data = torch.from_numpy(X).float() if y is not None: y = y.astype(np.int) self.label =import tor原创 2021-08-09 17:44:01 · 115 阅读 · 0 评论 -
2021-07-28
batch normalization没有听懂原创 2021-07-28 19:39:01 · 42 阅读 · 0 评论 -
2021-07-18
2019年CS224N课程笔记-Lecture 1: Introduction and Word Vectors cs224n学习笔记 2原创 2021-07-18 15:14:32 · 82 阅读 · 0 评论