Mufengfengfeng-CSDN博客

原创 Task08 word2vec；词嵌入进阶；文本分类学习笔记

Task08 word2vec；词嵌入进阶；文本分类学习笔记 word2vec 词嵌入基础我们在“循环神经网络的从零开始实现”一节中使用 one-hot 向量表示单词，虽然它们构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one-hot 词向量无法准确表达不同词之间的相似度，如我们常常使用的余弦相似度。 Word2Vec 词嵌入工具的提出正是为了解决上面这个问题，它将每个词表示成一...

2020-02-24 17:07:02 1155 1

原创 Task 06 数据增强；模型微调；目标检测基础学习笔记

Task 06 数据增强；模型微调；目标检测基础学习笔记数据增强图像增广在5.6节（深度卷积神经网络）里我们提到过，大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。...

2020-02-24 17:01:31 2072

原创 Task07: 凸优化；梯度下降；优化算法进阶学习笔记

Task07: 凸优化；梯度下降；优化算法进阶学习笔记凸优化优化与估计尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标：训练集损失函数值深度学习目标：测试集损失函数值（泛化性） %matplotlib inline import sys sys.path.append(’/home/kesci/input’) import d...

2020-02-24 16:54:29 606

原创 Task05：卷积神经网络基础；leNet；卷积神经网络进阶学习笔记

卷积神经网络基础本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。二维卷积层本节介绍的是最常见的二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通...

2020-02-17 10:05:35 606

原创 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer学习笔记

机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。 import sys sys.path.append(’/home/kesci/input/d2l9528/’) import collections import d2l impor...

2020-02-17 09:57:32 498

原创 Task03：过拟合、欠拟合及其解决方案学习笔记

过拟合、欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误...

2020-02-17 09:50:12 333

原创 Task02：学习笔记文本预处理；语言模型；循环神经网络基础

Task02：学习笔记文本预处理；语言模型；循环神经网络基础文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H. G. Well的Time Machine，作为示例...

2020-02-14 12:16:19 422

原创 Task1.0 学习笔记线性回归；Softmax与分类模型、多层感知机

Task1.0 学习笔记线性回归；Softmax与分类模型、多层感知机线性回归模型使用pytorch的简洁实现 In [16]: import torch from torch import nn import numpy as np torch.manual_seed(1) print(torch.version) torch.set_default_tensor_type(‘torch.Fl...

2020-02-14 12:11:33 312

Mufengfengfeng的博客