- 博客(8)
- 收藏
- 关注
RSS订阅原创 task08
文本分类文本情感分类数据集利用 torch.utils.data.TensorDataset，可以创建 PyTorch 格式的数据集，从而创建数据迭代器。train_set = Data.TensorDataset(*preprocess_imdb(train_data, vocab))test_set = Data.TensorDataset(*preprocess_imdb(test_...
2020-02-23 18:13:42
81
原创 task07
优化算法进阶Momentum：相对于小批量随机梯度下降，动量法需要对每一个自变量维护一个同它一样形状的速度变量，且超参数里多了动量超参数。AdaGrad:同动量法一样，AdaGrad算法需要对每个自变量维护同它一样形状的状态变量。RMSProp:相比于AdaGrad增加后期学习率AdaDelta：没有学习率超参数Adam：在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均...
2020-02-23 17:55:31
113
原创 task06
批量归一化和残差网络批量归一化：是一个深度模型，利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。对全连接层：位于全连接层中的仿射变换和激活函数之间。对卷积层：位于卷积计算之后、应⽤激活函数之前。LeNetnet = nn.Sequential( nn.Conv2d(1, 6, 5), # in_channels...
2020-02-23 16:49:35
84
原创 task2-3
卷积神经网络基础二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏置来得到输出。卷积层的模型参数包括卷积核和标量偏置。1*2卷积层conv2d = Conv2D(kernel_size=(1, 2))step = 30lr = 0.01for i in range(step): Y_hat = conv2d(X) l = ((Y_hat - Y) ** 2).sum...
2020-02-17 16:20:29
146
原创 task2-2
机器翻译及相关技术经历数据预处理、分词、建立字典、载入数据集,空格符不是特殊符号，预处理的时候去除。DECODER-ENCODERclass Encoder(nn.Module): def __init__(self, **kwargs): super(Encoder, self).__init__(**kwargs) def forward(self, X...
2020-02-17 16:04:46
84
原创 task2-1
过拟合、欠拟合及其解决⽅案L2范数正则化也就是权重衰减是用来应对过拟合的。梯度消失、梯度爆炸有关数值稳定性的典型问题。三个偏移：协变量、标签、概念。卷积神经网络基础假如你用全连接层处理一张256×256的彩色（RGB）图像，输出包含1000个神经元，在使用偏置的情况下，参数数量是：32562561000+1000=196609000假如你用全连接层处理一张256×256的彩色（R...
2020-02-17 15:14:05
120
原创 part2
Softmax处理图像分类问题，2*2像素灰度图像。x1、x2、x3、x4为四个像素，标签对应离散值，绘制神经网络图，将输出当作置信度。为解决输出范围不确定和离散值误差问题，采用softmax operator 来解决问题，其将输出值变为和为1的概率分布。采用交叉熵来衡量概率分布的差异，最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。过程中我们需要获取Fashion-M...
2020-02-13 19:50:44
196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人