pytorch
XD101DX
这个作者很懒,什么都没留下…
展开
-
NLP文本摘要NO.3 seq2seq数据处理部分
seq2seq实现文本摘要的架构编码器端负责将输入数据进行编码, 得到中间语义张量.解码器端负责一次次的循环解析中间语义张量, 得到最终的结果语句.一般来说, 我们将注意力机制添加在解码器端.对比于英译法任务, 我们再来看文本摘要任务下的seq2seq架构图:编码器端负责进行原始文本的编码.注意力层结合编码张量和解码器端的当前输入, 得到总体上的内容张量.最后在注意力机制的指导下, 解码器端得到完整的单词分布, 解码出当前时间步的单词....原创 2022-05-05 11:42:12 · 2907 阅读 · 0 评论 -
《PyTorch深度学习实践》P13循环神经网络RNN高级篇
分类任务:用名字识别出语言;这里每一个名字实际上是一个序列,(序列长短不一致)例如Maclean,-> M a c l e a n == x1,x2,x3,x4,x5,x6,x7①准备数据用ASCII码来表示;序列长短不一: 用padding对标签Y也做成词典:将来就可以再这个词典里查找对数据(.gz类型)的读取:不同数据类型用不同包去读取!制作键值对表:code: def getConutryDict(self): country_dict原创 2022-02-27 14:35:45 · 1002 阅读 · 4 评论 -
《PyTorch深度学习实践》P12循环神经网络RNN基础篇
全连接层的权重的最多的;RNN模型图:RNNcell里面的维度变化:(如图下)Xt 维度:input_size * 1Wih维度:hidden_size * input_size则Xt * Wih得到 维度 :hidden_size * 1h t-1 维度: hidden_size * 1Whh维度: hidden_size * hidden_size则h t-1 * Whh 得到 维度: hidden_size * 1再二者相加,调用tanh。本质是一个线性层code:cell原创 2022-02-25 17:39:56 · 632 阅读 · 0 评论 -
《PyTorch深度学习实践》深度学习方法论
复现不是下载下来跑通就可以!原创 2022-02-25 12:17:51 · 521 阅读 · 0 评论 -
《PyTorch深度学习实践》P11卷积神经网络高级篇
GoogLeNet:Inception块:1X1 convolution:信息融合(例子,分数之和决定排名),可以降低计算量InceptionA:code:(不可单独运行)class InceptionA(nn.Module): def __init__(self, in_channels): super(InceptionA, self).__init__() self.branch1x1 = nn.Conv2d(in_channels, 16原创 2022-02-25 12:14:37 · 596 阅读 · 0 评论 -
《PyTorch深度学习实践》P10卷积神经网络基础篇CNN
基本模式:patch:单通道,卷积做数乘:先数乘再加:每一个卷积核通道数量和输入通道数量一样!卷积核总数量和输出通道数量一样!卷积核数量和图片大小没关想得到和原来一样的维度,padding怎么计算加外围多少层:(如图所示)例子:code:在这里import torchinput = [3,4,6,5,7, 2,4,6,8,2, 1,6,7,8,4, 9,7,4,6,2, 3,7,5,4,1]# (1原创 2022-02-25 10:40:18 · 400 阅读 · 0 评论 -
《PyTorch深度学习实践》P9多分类问题(softmax)
softmax:处理多分类①概率和为1②各个概率都>=0softmax例子:softmax对应的损失函数:code:import numpy as npy = np.array([1, 0, 0])z = np.array([0.2, 0.1, -0.1])y_pred = np.exp(z) / np.exp(z).sum()loss = (- y * np.log(y_pred)).sum()print(loss)效果图:torch里面有:交叉熵损失,包含了softma原创 2022-02-24 16:37:39 · 683 阅读 · 0 评论 -
《PyTorch深度学习实践》P8加载数据集
epochbatch-sizeiterationdataloader:shuffle指打乱batch_size = 2 指一次训练选俩个样本code:'''加载数据集'''# epoch 所有的样本都经过了一次正向传播,反向传播(所有样本都经过了一次训练)# Batch—size每次训练的时候所用的样本数量# iteration 指batch一共分多少个import torchimport numpy as npfrom torch.utils.data import Dat原创 2022-02-24 14:02:30 · 91 阅读 · 0 评论 -
《PyTorch深度学习实践》P7处理多维特征的输入
X与Y表示:x * w (多维情况下)转变为:多个样本,尽量不用循坏(吴恩达),转为矩阵,便于计算修改模型里面的参数:多层:层数越多,非线性能力增强,但是学习能力不能太好,学到噪声,以至于过拟合,需要把握好泛化能力与过拟合的平衡点。模型里面都用x,而不是用o1,o2,y_pred(惯例)不同的激活函数:code:'''处理多维特征的输入'''import numpy as npimport torchxy = np.loadtxt('diabetes.csv', de原创 2022-02-24 11:34:16 · 190 阅读 · 0 评论 -
《PyTorch深度学习实践》P6逻辑斯蒂回归
就基本4步:与P5一致,如图下:sigmoid等激活函数作用,变得非线性,不会让多层神经网络变得无意义code:'''逻辑斯蒂回归'''import torch.nn.functional as Fx_data = torch.Tensor([[1.0], [2.0], [3.0]])y_data = torch.Tensor([[0], [0], [1]])class LogisticRegressionModel(torch.nn.Module): def __init__原创 2022-02-23 21:21:34 · 179 阅读 · 0 评论 -
《PyTorch深度学习实践》P3梯度下降算法
公式推导:code:import numpy as npimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]w = 1.0epoch_list = []cost_list = []def forward(x): return x * wdef cost(xs,ys): cost = 0 for x, y in zip(xs, ys):原创 2022-02-23 17:12:44 · 95 阅读 · 0 评论 -
《PyTorch深度学习实践》P5用pytorch实现线性回归
code:'''用pytorch实现线性回归''''''1,准备数据2,设计模型3,构造损失函数和优化器4,训练周期:前馈,反馈,更新'''import torchx_data = torch.Tensor([[1.0], [2.0], [3.0]]) # 1.0 对应x的第一行y_data = torch.Tensor([[2.0], [4.0], [6.0]])class LinearModel(torch.nn.Module): def __init__(sel..原创 2022-02-23 20:02:51 · 84 阅读 · 0 评论 -
《PyTorch深度学习实践》P4反向传播
code:import torchx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]w = torch.Tensor([1.0])w.requires_grad = True # Ture:需要计算梯度def forward(x): return x * w # 不是做简单乘法,而是在构建计算图def loss(x, y): y_pred = forward(x) return (y_pred - y) ** 2..原创 2022-02-23 19:02:38 · 224 阅读 · 0 评论 -
《PyTorch深度学习实践》P2线性模型
code:import numpy as npimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 4.0]# 线性模型 y_pred = x * wdef forward(x): return x * w# 损失函数def loss(x, y): y_pred = forward(x) return (y_pred - y) ** 2w_list = []m.原创 2022-02-23 16:35:28 · 105 阅读 · 0 评论