ml
文章平均质量分 84
帅气多汁你天哥
喜欢孤独的猿,热爱篮球,Java,LOL,创业,电影,睡觉,硬科幻,CNN,钢铁侠,军迷
展开
-
Attention 普通注意力机制详解 (二)
注意力入门 普通注意力机制的了深入理解 因为GRU每次输入都是一个词一个词的输入,那么普通的Seq2seq框架 就需要每个词算一遍 注意力权重并对解码器输出进行bmm计算,得到加权的解码器词向量输出 这样解码器的GRU每次解码的时候不是仅仅只考虑当前的一个词,而是考虑前后3个词甚至更多个词才会将这个词翻译 前向传播的结构就是这样,那么反向传播就是整个学习过程的精华, 解码器GRU 通过logsoftmax计算概率损失, 这样会知道每个词翻译错误的误差 然后向下传播 知道每个词翻译的误差后 , GRU的权原创 2021-10-29 17:05:00 · 676 阅读 · 1 评论 -
Seq2Seq attention 英译法 代码实现+ 注意力机制详解 (一)
话不多说上代码 数据加载类 from io import open import unicodedata import re import random import torch import torch.nn as nn import torch.nn.functional as F from torch import optim # 注册驱动 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 起始标志 SO.原创 2021-10-28 01:15:03 · 597 阅读 · 0 评论 -
人话解释线性回归和梯度下降
from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error from sklearn.li.原创 2021-09-21 20:55:41 · 133 阅读 · 0 评论