张贤的博客

代码实现：https://github.com/zhangxiann/Skip-gram这篇文章来说下如何使用 PyTorch 实现 Skip-gram，文中会出现一些数学公式。CBOW 和 Skip-gram 是两种训练得到词向量的方法。其中 CBOW 是从上下文字词推测目标字词，而 Skip-gram 则是从目标字词推测上下文的字词。在大型数据集上，CBOW 比 Skip-gram 效果好；但是在小的数据集上，Skip-gram 比 CBOW 效果好。本文使用 PyTorch 来实现 Skip-.

PyTorch 学习笔记这篇文章是我学习 PyTorch 过程中所记录的学习笔记汇总，包括 25 篇文章，是我学习深度之眼 PyTorch 框架版课程期间所记录的内容。课程地址：https://ai.deepshare.net/detail/p_5df0ad9a09d37_qYqVmt85/6。学习笔记的结构遵循课程的顺序，共分为 8 周，循序渐进，力求通俗易懂。代码配套代码：https://github.com/zhangxiann/PyTorch_Practice所有代码均在 PyCharm

本文翻译自：http://jalammar.github.io/illustrated-bert/。通俗易懂，非常适合刚刚开始了解 Bert 的同学。BERT 来源于 Transformer，如果你不知道 Transformer 是什么，你可以查看 图解 Transformer。2018 年是机器学习模型处理文本（或者更准确地说，自然语言处理或 NLP）的转折点。我们对这些方面的理解正在迅速发展：如何最好地表示单词和句子，从而最好地捕捉基本语义和关系？此外，NLP 社区已经发布了非常强大的组件，你.

本文翻译自 https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/序列到序列（seq2seq）模型是一种深度学习模型，在很多任务上都取得了成功，如：机器翻译、文本摘要、图像、图像理解（image captioning）。谷歌翻译在 2016 年年末开始使用这种模型。有 2 篇开创性的论文(Sutskever et al., 2014, Ch.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/rnn_demo.py这篇文章主要介绍了循环神经网络（Recurrent Neural Network），简称 RNN。RNN 常用于处理不定长输入，常用于 NLP 以及时间序列的任务，这种数据一半具有前后关系。RNN 网络结构如下：上图的数据说明如下：xtx_{t}xt​：时刻 t 的输入，shape=(1,57)shape=(1,57)shap.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/detection_demo.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/fasterrcnn_demo.py这篇文章主要介绍了目标检测。目标检测是判断目标在图像中的位置，有两个要素：分类：分类向量 P0,P1,P2...P_{0}, P_{1}, P_.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/gan_inference.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/gan_demo.py这篇文章主要介绍了生成对抗网络（Generative Adversarial Network），简称 GAN。GAN 可以看作是一种可以生成特定分布数据的模.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/resnet_inference.py这篇文章主要介绍了 图像分类的 inference，其中会着重介绍 ResNet。模型概览在torchvision.model中，有很多封装好的模型。可以分类 3 类：经典网络alexnetvggresnetinceptiondensenetgooglenet轻量化网络squeezene.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/cuda_use.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/multi_gpu.py这篇文章主要介绍了 GPU 的使用。在数据运算时，两个数据进行运算，那么它们必须同时存放在同一个设备，要么同时是 CPU，要么同时是 GPU。而且数据和模型都要在同一个设备.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/finetune_resnet18.py这篇文章主要介绍了模型的 Finetune。迁移学习：把在 source domain 任务上的学习到的模型应用到 target domain 的任务。Finetune 就是一种迁移学习的方法。比如做人脸识别，可以把 ImageNet 看作 source domain，人脸数据集看作 target domain。通常.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/model_save.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/model_load.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/checkpoint_resume.p.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/bn_and_initialize.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/bn_in_123_dim.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/normalliz.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/L2_regularization.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/dropout_layer.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/dropout_r.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/resnet_inference.py这篇文章首先会简单介绍一下 PyTorch 中提供的图像分类的网络，然后重点介绍 ResNet 的使用，以及 ResNet 的源码。模型概览在torchvision.model中，有很多封装好的模型。可以分类 3 类：经典网络alexnetvggresnetinceptiondensenetgoo.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/hook_fmap_vis.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/hook_methods.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/weight_fmap_vi.

前言这篇文章用于记录阿里天池 NLP 入门赛，详细讲解了整个数据处理流程，以及如何从零构建一个模型，适合新手入门。赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出 14 个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。实质上是一个 14 分类问题。赛题数据由以下几个部分构成：训练集 20w 条样本，测试集 A 包括 5w 条样本，测试集 B 包括 5w 条样本。比赛地址：htt

前言这篇文章用于记录阿里天池 NLP 入门赛，详细讲解了整个数据处理流程，以及如何从零构建一个模型，适合新手入门。赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出 14 个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。实质上是一个 14 分类问题。赛题数据由以下几个部分构成：训练集 20w 条样本，测试集 A 包括 5w 条样本，测试集 B 包括 5w 条样本。比赛地址：htt

前言这篇文章用于记录阿里天池 NLP 入门赛，详细讲解了整个数据处理流程，以及如何从零构建一个模型，适合新手入门。赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出 14 个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。实质上是一个 14 分类问题。赛题数据由以下几个部分构成：训练集 20w 条样本，测试集 A 包括 5w 条样本，测试集 B 包括 5w 条样本。比赛地址：htt

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods_2.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/optimizer_methods.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/momentum.py这篇文章主要介绍了 PyTorch 中的优化器，包括 3 个部分：优化器的概念、optimizer 的属性、optimizer 的方法。优化器的概念PyT.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/loss_function_1.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/loss_function_1.py这篇文章主要介绍了损失函数的概念，以及 PyTorch 中提供的常用损失函数。损失函数损失函数是衡量模型输出与真实标签之间的差异。我们还经常听到.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/grad_vanish_explod.py在搭建好网络模型之后，一个重要的步骤就是对网络模型中的权值进行初始化。适当的权值初始化可以加快模型的收敛，而不恰当的权值初始化可能引发梯度消失或者梯度爆炸，最终导致模型无法收敛。下面分 3 部分介绍。第一部分介绍不恰当的权值初始化是如何引发梯度消失与梯度爆炸的，第二部分介绍常用的 Xavier 方法与 Kaiming.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/nn_layers_others.py这篇文章主要介绍了 PyTorch 中的池化层、线性层和激活函数层。池化层池化的作用则体现在降采样：保留显著特征、降低特征维度，增大 kernel 的感受野。 另外一点值得注意：pooling 也可以提供一些旋转不变性。 池化层可对提取到的特征信息进行降维，一方面使特征图变小，简化网络计算复杂度并在一定程度上避免过拟合.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/nn_layers_convolution.py这篇文章主要介绍了 PyTorch 中常用的卷积层，包括 3 个部分。1D/2D/3D 卷积卷积有一维卷积、二维卷积、三维卷积。一般情况下，卷积核在几个维度上滑动，就是几维卷积。比如在图片上的卷积就是二维卷积。一维卷积二维卷积三维卷积二维卷积：nn.Conv2d()nn.Conv2d(sel.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/module_containers.py这篇文章来看下 PyTorch 中网络模型的创建步骤。网络模型的内容如下，包括模型创建和权值初始化，这些内容都在nn.Module中有实现。网络模型的创建步骤创建模型有 2 个要素：构建子模块和拼接子模块。如 LeNet 里包含很多卷积层、池化层、全连接层，当我们构建好所有的子模块之后，按照一定的顺序拼接起来。.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson2/transforms/这篇主要分为几个部分介绍 transforms:裁剪旋转和翻转图像变换transforms 方法操作自定义 transforms 方法最后是数据增强的实战：对人民币二分类实验进行数增强。由于图片经过 transform 操作之后是 tensor，像素值在 0~1 之间，并且标准差和方差不是正常图片的。所以定义了tran.

PyTorch 的数据增强我们在安装PyTorch时，还安装了torchvision，这是一个计算机视觉工具包。有 3 个主要的模块：torchvision.transforms: 里面包括常用的图像预处理方法torchvision.datasets: 里面包括常用数据集如 mnist、CIFAR-10、Image-Net 等torchvision.models: 里面包括常用的预训练好的模型，如 AlexNet、VGG、ResNet、GoogleNet 等深度学习模型是由数据驱动的，数据的数

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson2/rmb_classification/人民币 二分类实现 1 元人民币和 100 元人民币的图片二分类。前面讲过 PyTorch 的五大模块：数据、模型、损失函数、优化器和迭代训练。数据模块又可以细分为 4 个部分：数据收集：样本和标签。数据划分：训练集、验证集和测试集数据读取：对应于PyTorch 的 DataLoader。其中 DataLoad.

本文翻译自 : http://jalammar.github.io/illustrated-transformer/。是我看过的把 Transformer 讲解得最好的文章：这篇文章从输入开始，一步一步演示了数据在 Transformer 中的流动过程。由于看过一些中文翻译的文章，感觉不够好，所以我自己翻译了一个版本，在一些难以直译的地方，我加入了一些原文没有的文字说明，来更好地解释概念。另外，我添加了一些简单的代码，实现了一个基本的 self-attention 以及 multi-head attent.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/autograd.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/logistic-regression.py自动求导 (autograd)在深度学习中，权值的更新是依赖于梯度的计算，因此梯度的计算是至关重要的。在 PyTorch 中，只需要搭建好前向计算图，然.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/computational_graph.py计算图深度学习就是对张量进行一系列的操作，随着操作种类和数量的增多，会出现各种值得思考的问题。比如多个操作之间是否可以并行，如何协同底层的不同设备，如何避免冗余的操作，以实现最高效的计算效率，同时避免一些 bug。因此产生了计算图 (Computational Graph)。计算图是用来描述运算的有向无环图，有.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/linear_regression.py张量的操作拼接torch.cat()torch.cat(tensors, dim=0, out=None)功能：将张量按照 dim 维度进行拼接tensors: 张量序列dim: 要拼接的维度代码示例：t = torch.ones((2, 3))t_0 = torch.cat([t, t], d.

有时在 PyCharm 运行代码的时候，会出现类似如下 pytest 的错误。这时我们的代码是没有错误的，只是 PyCharm 使用了 pytest 来执行代码，这是 Python 中的一种单元测试方法。出现这种错误，是因为你的代码中，有某个方法是以test开头。因此 PyCharm 默认会使用 pytest 来运行这份代码。我们就需要设置 configuration，使 PyCharm 用默认的解释器来执行代码。步骤如下：点击 Edit Configuration。可以看到在左

PyTorch 的诞生2017 年 1 月，FAIR（Facebook AI Research）发布了 PyTorch。PyTorch 是在 Torch 基础上用 python 语言重新打造的一款深度学习框架。Torch 是采用 Lua 语言为接口的机器学习框架，但是因为 Lua 语言较为小众，导致 Torch 学习成本高，因此知名度不高。PyTorch 的发展2017 年 1 月正式发布 PyTorch。2018 年 4 月更新 0.4.0 版，支持 Windows 系统，caffe2 正式并

Tensor 的概念本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/tensor_introduce1.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/tensor_introduce1.pyTensor 中文为张量。张量的意思是一个多为数组，它是标量、向量、矩阵的高维扩展。标量可以称为 0 维张量

简介Graph Neural Networks 简称 GNN，称为图神经网络，是深度学习中近年来一个比较受关注的领域。近年来 GNN 在学术界受到的关注越来越多，与之相关的论文数量呈上升趋势，GNN 通过对信息的传递，转换和聚合实现特征的提取，类似于传统的 CNN，只是 CNN 只能处理规则的输入，如图片等输入的高、宽和通道数都是固定的，而 GNN 可以处理不规则的输入，如点云等。 可查看【GNN】万字长文带你入门 GCN。而 PyTorch Geometric Library (简称 PyG) 是一个

为什么写篇文章首先，这篇文章的代码全部都来源于 Datawhale 提供的开源代码，我添加了自己的笔记，帮助新手更好地理解这个代码。这份代码里包含了数据处理，以及从 0 到 1模型建立的完整流程。这份代码和前面提供的 basesline 的都不太一样，它包含了非常多数据处理的细节，模型也是由 3 个部分构成，所以看起来难度陡然上升。其次，代码里的注释非常少，也没有讲解整个模型的整体流程。这份代码其中很多数据转换的逻辑，和 3 个模型的连接，对于新手来说，颇为头痛。我自己也是一个新人，花了一天的时

此篇文章用于记录《玩转数据结构》课程的学习笔记什么是线段树线段树也被称为区间树，英文名为Segment Tree或者Interval tree，是一种高级的数据结构。这种数据结构更多出现在竞赛中，在常见的本科数据结构教材里没有介绍这种数据结构。但是，在面试中却有可能碰到和线段树相关的问题。那么为什么会产生线段树这种数据结构，线段树到底是为了解决什么样的一种问题呢？其实这里的线段可以理解为区间，线段树就是为了解决区间问题的。有一个很经典的线段树问题是：区间染色。假设有一面墙，长度为 n，每次选择.

TfidfVectorizer、CountVectorizer 和 TfidfTransformer 是 sklearn 中处理自然语言常用的工具。TfidfVectorizer 相当于 CountVectorizer + TfidfTransformer。下面先说 CountVectorizer。CountVectorizerCountVectorizer 的作用是将文本文档转换为计数的稀疏矩阵。下面举一个具体的例子来说明(代码来自于官方文档)。from sklearn.feature_extra

Java 中的synchronized是一种悲观锁，悲观锁始终假设会发生并发冲突，因此会阻止一切可能违反数据完整性的操作。而 CAS 是一种乐观锁CAS 全称是 Compare and Swap。乐观锁假设不会发生并发冲突，因此只在提交的时候检查是否违反数据完整性，如果提交失败则会进行重试。CAS 支持原子更新操作，适用于计数器，序列发生器等场景。CAS 操作失败时由开发者决定是继续尝试，还是...

Java 内存模型(Java Memory Model，简称 JMM)是一种抽象的概念，并不真实存在，它描述的是一组规范或者规则，通过这种规范定义了程序中各个变量(包括实例字段、静态字段和构成数组对象的元素)的访问方式。JMM 中的主内存和工作内存由于代码运行的实体是线程，而 JVM 会为每一个线程创建一个工作内存(有些资料称为栈空间)，用于存储线程私有的数据。而 Java 内存模型规定所有变...

实现synchronized的基础有两个：Java 对象头和 Monitor。在虚拟机规范中定义了对象在内存中的布局，主要由以下 3 部分组成：对象头实例数据对齐填充而synchronized的实现就藏在对象头中。对象头中由两个比较重要的部分组成：Mark Word：默认存储对象的 hashCode，分代年龄，锁类型，锁标志位等信息，是实现轻量级锁和偏向锁的关键Class...

TitleGraph-Based Object Classification for Neuromorphic Vision SensingSummaryNVS 可以显著提高采样率，同时显著提高能量效率和对光照变化的鲁棒性。然而 NVS 不使用帧表示图像，所以不能利用最先进的循环神经网络（CNNs）。我们提出了一个基于 NVS 的紧凑的图表示，并使用结合残差网络来做分类，这种残差 Graph...