文森特没有眼泪-CSDN博客

原创 [NLP] transformers 使用指南

严格意义上讲 transformers 并不是 PyTorch 的一部分，然而 transformers 与 PyTorch 或 TensorFlow 结合的太紧密了，而且可以把 transformers 看成是 PyTorch 或 TensorFlow 的延伸，所以也在这里一并讨论了。transformers 内置了 17 种以 transformer 结构为基础的神经网络：T5 modelDistilBERT modelALBERT modelCamemBERT modelXLM-RoBE

2020-06-17 09:08:47 12805 1

原创 [NLP] TorchText 使用指南

TorchText 是 PyTorch 的一个功能包，主要提供文本数据读取、创建迭代器的的功能与语料库、词向量的信息，分别对应了 torchtext.data、torchtext.datasets 和 torchtext.vocab 三个子模块。本文参考了三篇文章。1. 语料库 torchtext.datasetsTorchText 内建的语料库有：Language ModelingWikiText-2WikiText103PennTreebankSentiment Analysis

2020-06-06 07:06:13 1885 2

原创深度之眼 PyTorch 训练营第 4 期（13）：hook 函数

我们知道，在计算图运行的过程中，中间变量的数据是不会被保留的。想要保存中间变量，一个方法是使用 tnesor.retain_grad = True，但是这样会使数据被永久保存，造成存储空间的消耗，即我们可能只需要用到中间变量的值一次，但它却被永久保存了。为了解决这个问题，PyTorch 引入了 hook 函数。hook 函数分为张量的 hook 函数和神经网络层的 hook 函数两种。1. 张量的 hook 函数Tensor.register_hook(hook)这个 hook 函数在每次计算反向

2020-06-02 01:37:33 490 1

原创深度之眼 PyTorch 训练营第 4 期（12）：TensorBoard

TensorBoard 是 TensorFlow 的神经网络可视化工具，被 PyTorch 拿来了。1. TensorBoard 安装TensorBoard 的安装有个坑，直接安装以后是不能用的，必须再安装 furtue 模块。我从来都没有遇到这个问题，因为我直接安装了 TensorFlow…2. 创建 TensorBoard 文件的接口想使用 TensorBoard，必须在硬盘上先创建一个 TensorBoard 数据文件，然后访问这个文件来查看 TensorBoard。创建 TensorBoar

2020-06-02 00:24:41 278

原创深度之眼 PyTorch 训练营第 4 期（11）：RNN

RNN（recurrent neural network）擅长处理序列内容，因此在 NLP 中应用较多。然而 RNN 的拓扑结构与 MLP、CNN 完全不同，因此学习起来会有很大的困扰。本文是介绍如何用锤子敲钉子的，而不是如何造锤子或者为什么要敲的。所以 RNN 的原理与使用场景在这里从略。然而了解 RNN 的工作原理对正确使用 RNN 大有裨益，所以在此附上参考资料，供读者参考。RNN 主要有三个实现：原始 RNN 和 RNN 的改进版 LSTM 和 GRU。一个循环神经网络主要由输入层、隐藏层（RN

2020-05-31 01:23:29 193

原创深度之眼 PyTorch 训练营第 4 期 (10)：CNN

往期汇总：PyTorch 折桂 1：张量的性质PyTorch 折桂 2：张量的运算 1PyTorch 折桂 3：张量的运算 2PyTorch 折桂 4：torch.autographPyTorch 折桂 5：PyTorch 模块总览 & torch.utils.dataPyTorch 折桂 6：torch.nn.ModulePyTorch 折桂 7：torch.nn 总览 & nn.Linear & 常用激活函数本文尽量不涉及 CNN（卷积神经网络）的原理，仅讨论

2020-05-28 21:51:28 1104

原创深度之眼 PyTorch 训练营第 4 期 (9)：torch.optim

文章目录1. 优化器1.1 [优化器的种类](https://zhuanlan.zhihu.com/p/64885176 "PyTorch 学习笔记（七）：PyTorch的十个优化器")1.2 创建优化器1.3 优化器的属性2. 改变学习率1. 优化器优化器就是根据导数对参数进行更新的类，不同的优化器本质上都是梯度下降法，只是在实现的细节上有所不同。类似的，PyTorch 里的所有优化器都继承自 torch.optim.Optimizer 这个基类。torch.optim.Optimizer(para

2020-05-25 02:40:07 604

原创深度之眼 PyTorch 训练营第 4 期（8）：损失函数

文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.github.io/2017/09/11/什么是信息熵、交叉熵和相对熵/ "【直观详解】信息熵、交叉熵和相对熵")3.2 分类损失函数3.3 总结1. 损失函数总览PyTorch 的 Loss Function（损失函数）都在 torch.nn.functional 里，也提供了封装好的类在 torch.nn 里。PyTorch 里有关有 18 个损失函数，常用的有 5 个，分别是

2020-05-19 06:31:58 2780 2

原创深度之眼 PyTorch 训练营第 4 期 (7)：torch.nn.init

文章目录1. torch.nn.init 概述2. 梯度消失和梯度爆炸3. `torch.nn.init.calculate_gain`4. Xavier initialization5. Kaiming initialization6. 其它初始化方法1. torch.nn.init 概述因为神经网络的训练过程其实是寻找最优解的过程，所以神经元的初始值非常重要。如果初始值恰好在最优解附近，神经网络的训练会非常简单。而当神经网络的层数增加以后，一个突出的问题就是梯度消失和梯度爆炸。前者指的是由于梯度接近

2020-05-19 01:49:39 686

原创深度之眼 PyTorch 训练营第 4 期（6）：torch.nn 总览 & 线性连接层 & 激活函数

1 torch.nn 总览相比 TensorFlow，PyTorch 算是一个非常轻量化的深度学习系统，与深度学习模型搭建相关的全部类全部在 torch.nn 这个子模块中。根据类的功能分类，常用的有如下十几个部分：Containers：容器类，如 torch.nn.Module；Convolution Layers：卷积层，如 torch.nn.Conv2d；Pooling Layers：池化层，如 torch.nn.MaxPool2d；Non-linear activations：非线性激活

2020-05-14 09:21:47 1157

原创深度之眼 PyTorch 训练营第 4 期（5）：构建模型 torch.nn.Module

本文中，我们看一看如何构建模型。创造一个模型分两步：构建模型和权值初始化。而构建模型又有“定义单独的网络层”和“把它们拼在一起”两步。1. torch.nn.Moduletorch.nn.Module 是所有 torch.nn 中的类的父类。我们来看一个非常简单的神经网络：class SimpleNet(nn.Module): def __init__(self, x): super(SimpleNet,self).__init__() self.fc = n

2020-05-12 03:53:24 389

原创深度之眼 PyTorch 训练营第 4 期（4）- 文件读取系统 torch.utils.data

搭建神经网络以前还需要载入、构建数据。PyTorch 提供了非常方便的模块 torch.utils.data 来完成相关的任务。1. 总览构建一个可以被 PyTorch 利用的数据集分两步：划分数据集、数据采样器（可选），构建 PyTorch 数据集（可选）构建数据集的读取器PyTorch 支持下面两种数据集：map-style datasets（映射风格的数据集）需要重写 _...

2020-05-05 02:38:44 742

原创深度之眼 PyTorch 训练营第 4 期（3）- 自动求导系统 torch.autograd

文章目录1. derivative（导数）的概述2. chain rule3. 张量的反向传播3.1 运算结果为 0 维张量的反向传播3.2 运算结果为 1 维以上张量的反向传播4. 张量的显式求导 `torch.augograd.grad`5. 张量的显式反向传播计算`torch.autograd.backward`神经网络的训练过程其实就是一个不断更新权重的过程，而更新权重要使用反向传播，而...

2020-05-03 07:49:11 427

原创深度之眼 PyTorch 训练营第 4 期（2）- 张量的性质

文章目录1. 计算图1.1 动态图1.2 静态图1.3 计算图示例2. 张量的运算2.1 张量的四则运算2.2 对数，指数，幂函数运算2.3 三角函数2.4 变换函数2.5 降维函数2.6 比较函数3. 张量的索引，变换，拼接与拆分3.1 张量的索引3.2 张量的变换3.3 张量的拼接3.4 张量的拆分1. 计算图一个深度学习模型是由“计算图”构成的。所谓计算图是一个有向无环图（directe...

2020-04-30 09:30:26 569

原创深度之眼 PyTorch 训练营第 4 期（1）- 张量的创建

安装 PyTorch（macOS 操作系统下）pip install torch查询 PyTorch 版本import torchprint(torch.__version__)# 1.5.0张量是什么？张量是一个多维数组：- 标量是一个 0 维数组；- 向量是一个 1 维数组；- 矩阵是一个 2 维张量。torch.tensor 有什么功能？最重要的功能是可以求导：...

2020-04-28 04:38:32 499

原创 [Python] 经验总结 1：数据框的切片

文章目录原生风格切片单列切片多列切片行pandas 风格切片df.loc["indexes", "columns"] 基于行、列的名称切片df.iloc["indexes", "columns"] 基于行、列的索引切片每个人都知道 Python 是一种高效、简洁、优雅的语言，。然而 Python 也有很多坑，现在老宅开一个新系列，分享老宅在学习和实践中总结的经验和教训，不定期分享。第一个经验就...

2019-06-18 12:01:01 4437

原创 [Python] 机器学习模块 sklearn 学习笔记

本文是《盘一盘 Python 系列 8 - Sklearn》的学习笔记。文章目录API估计器预测器转换器高级 APIensemble 估计器Model Selection 估计器交叉验证网格追踪和随机追踪Pipeline 估计器sklearn 主要函数一览sklearn.clustersklearn.decompositionsklearn.ensemblesklearn.imputesklea...

2019-06-13 00:57:45 876