张贤的博客

代码实现：https://github.com/zhangxiann/Skip-gram这篇文章来说下如何使用 PyTorch 实现 Skip-gram，文中会出现一些数学公式。CBOW 和 Skip-gram 是两种训练得到词向量的方法。其中 CBOW 是从上下文字词推测目标字词，而 Skip-gram 则是从目标字词推测上下文的字词。在大型数据集上，CBOW 比 Skip-gram 效果好；但是在小的数据集上，Skip-gram 比 CBOW 效果好。本文使用 PyTorch 来实现 Skip-.

PyTorch 学习笔记这篇文章是我学习 PyTorch 过程中所记录的学习笔记汇总，包括 25 篇文章，是我学习深度之眼 PyTorch 框架版课程期间所记录的内容。课程地址：https://ai.deepshare.net/detail/p_5df0ad9a09d37_qYqVmt85/6。学习笔记的结构遵循课程的顺序，共分为 8 周，循序渐进，力求通俗易懂。代码配套代码：https://github.com/zhangxiann/PyTorch_Practice所有代码均在 PyCharm

本文翻译自：http://jalammar.github.io/illustrated-bert/。通俗易懂，非常适合刚刚开始了解 Bert 的同学。BERT 来源于 Transformer，如果你不知道 Transformer 是什么，你可以查看 图解 Transformer。2018 年是机器学习模型处理文本（或者更准确地说，自然语言处理或 NLP）的转折点。我们对这些方面的理解正在迅速发展：如何最好地表示单词和句子，从而最好地捕捉基本语义和关系？此外，NLP 社区已经发布了非常强大的组件，你.

本文翻译自 https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/序列到序列（seq2seq）模型是一种深度学习模型，在很多任务上都取得了成功，如：机器翻译、文本摘要、图像、图像理解（image captioning）。谷歌翻译在 2016 年年末开始使用这种模型。有 2 篇开创性的论文(Sutskever et al., 2014, Ch.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/rnn_demo.py这篇文章主要介绍了循环神经网络（Recurrent Neural Network），简称 RNN。RNN 常用于处理不定长输入，常用于 NLP 以及时间序列的任务，这种数据一半具有前后关系。RNN 网络结构如下：上图的数据说明如下：xtx_{t}xt​：时刻 t 的输入，shape=(1,57)shape=(1,57)shap.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/detection_demo.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/fasterrcnn_demo.py这篇文章主要介绍了目标检测。目标检测是判断目标在图像中的位置，有两个要素：分类：分类向量 P0,P1,P2...P_{0}, P_{1}, P_.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/gan_inference.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/gan_demo.py这篇文章主要介绍了生成对抗网络（Generative Adversarial Network），简称 GAN。GAN 可以看作是一种可以生成特定分布数据的模.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/resnet_inference.py这篇文章主要介绍了 图像分类的 inference，其中会着重介绍 ResNet。模型概览在torchvision.model中，有很多封装好的模型。可以分类 3 类：经典网络alexnetvggresnetinceptiondensenetgooglenet轻量化网络squeezene.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/cuda_use.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/multi_gpu.py这篇文章主要介绍了 GPU 的使用。在数据运算时，两个数据进行运算，那么它们必须同时存放在同一个设备，要么同时是 CPU，要么同时是 GPU。而且数据和模型都要在同一个设备.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/finetune_resnet18.py这篇文章主要介绍了模型的 Finetune。迁移学习：把在 source domain 任务上的学习到的模型应用到 target domain 的任务。Finetune 就是一种迁移学习的方法。比如做人脸识别，可以把 ImageNet 看作 source domain，人脸数据集看作 target domain。通常.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/model_save.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/model_load.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/checkpoint_resume.p.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/bn_and_initialize.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/bn_in_123_dim.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/normalliz.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/L2_regularization.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/dropout_layer.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson6/dropout_r.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/resnet_inference.py这篇文章首先会简单介绍一下 PyTorch 中提供的图像分类的网络，然后重点介绍 ResNet 的使用，以及 ResNet 的源码。模型概览在torchvision.model中，有很多封装好的模型。可以分类 3 类：经典网络alexnetvggresnetinceptiondensenetgoo.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/hook_fmap_vis.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/hook_methods.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/weight_fmap_vi.

前言这篇文章用于记录阿里天池 NLP 入门赛，详细讲解了整个数据处理流程，以及如何从零构建一个模型，适合新手入门。赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出 14 个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。实质上是一个 14 分类问题。赛题数据由以下几个部分构成：训练集 20w 条样本，测试集 A 包括 5w 条样本，测试集 B 包括 5w 条样本。比赛地址：htt

前言这篇文章用于记录阿里天池 NLP 入门赛，详细讲解了整个数据处理流程，以及如何从零构建一个模型，适合新手入门。赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出 14 个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。实质上是一个 14 分类问题。赛题数据由以下几个部分构成：训练集 20w 条样本，测试集 A 包括 5w 条样本，测试集 B 包括 5w 条样本。比赛地址：htt

前言这篇文章用于记录阿里天池 NLP 入门赛，详细讲解了整个数据处理流程，以及如何从零构建一个模型，适合新手入门。赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出 14 个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。实质上是一个 14 分类问题。赛题数据由以下几个部分构成：训练集 20w 条样本，测试集 A 包括 5w 条样本，测试集 B 包括 5w 条样本。比赛地址：htt

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods_2.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5.

本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/optimizer_methods.pyhttps://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/momentum.py这篇文章主要介绍了 PyTorch 中的优化器，包括 3 个部分：优化器的概念、optimizer 的属性、optimizer 的方法。优化器的概念PyT.