![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
打卡
syhu007012
这个作者很懒,什么都没留下…
展开
-
Task05:卷积神经网络基础;leNet;卷积神经网络进阶
卷积神经网络基础假设Xt∈Rn×d是时间步t的小批量输入,Ht∈Rn×h是该时间步的隐藏变量,则:Ht=ϕ(XtWxh+Ht−1Whh+bh).其中,Wxh∈Rd×h,Whh∈Rh×h,bh∈R1×h,ϕ函数是非线性激活函数。由于引入了Ht−1Whh,Ht能够捕捉截至当前时间步的序列的历史信息,就像是神经网络当前时间步的状态或记忆一样。由于Ht的计算基于Ht−1,上式的计算是循环的,使用循环...原创 2020-02-17 19:30:05 · 245 阅读 · 0 评论 -
机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
机器翻译及相关技术机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。字符在计算机里是以编码的形式存在,我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 (ISO/IEC_88...原创 2020-02-17 19:23:58 · 369 阅读 · 0 评论 -
Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶
过拟合、欠拟合及其解决方案训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。两类典型问题:一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting);另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 在实践中,我们...原创 2020-02-17 08:01:43 · 169 阅读 · 0 评论 -
Task02:学习笔记文本预处理;语言模型;循环神经网络基础
笔记文本预处理读入文本import collectionsimport redef read_time_machine():with open(’/home/kesci/input/timemachine7163/timemachine.txt’, ‘r’) as f:lines = [re.sub(’[^a-z]+’, ’ ', line.strip().lower()) for l...原创 2020-02-14 19:49:04 · 211 阅读 · 0 评论 -
Task1.0 学习笔记线性回归;Softmax与分类模型、多层感知机
线性回归模型使用pytorch的简洁实现import torchfrom torch import nnimport numpy as nptorch.manual_seed(1)生成数据集num_inputs = 2num_examples = 1000true_w = [2, -3.4]true_b = 4.2features = torch.tensor(np.rando...原创 2020-02-14 17:11:03 · 116 阅读 · 0 评论