【人工智能】王小草的博客

原创 8.1 PyTorch模型迁移

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 7.1 利用PyTorch构造神经翻译机

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 6.4 PyTorch实现Skipgram模型

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 6.3 PyTorch实现Auto Encoder模型

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 6.2 PyTorch图像的多分类--手写字体识别

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 6.1 PyTorch简单二分类模型

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 5 PyTorch构建模型的三种方式

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.8 PyTorch模型的保存与加载

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.7 PyTorch如何使用GPU

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.6 PyTorch使用损失函数

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.5 PyTorch批量梯度下降

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.4 PyTorch迭代过程中的评估

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.3 PyTorch便利的优化器

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.2 PyTorch自动反向传播

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 4.1 PyTorch纯手工构建模型并训练

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训...

原创 3 PyTorch读入各类形式的数据

在现实场景中，数据由很多种形式存在，如存在表格中的数据、时间序列数据、图像数据、视频数据、文本数据等。在使用pytorch建立深度学习模型前，无论什么样的数据我们都要转换成tensor的形式， 并做好预处理，为喂入模型做准备。因此本章的主要内容是讲解如何读入各类数据、转换成tensor、并预处理好的过程。

原创 2.5 Tensor的API

Pytorch提供了很多tensor的API， 如若逐条去记忆想必自然不是程序员的学习方法，更不是AI从业者的学习方法，API是帮助我们快速开发的工具，绝不能成为学习的压力，因此相对有效的方法是“类”--> “查” -->“熟”。

原创 2.4 Tensor的存储

tensor中的值是存储在连续的内存块中的，由torch.Storage实例管理着。一个storage即是一个一维的向量。

原创 2.3 Tensor类型

知道了创建Tensor的各种方法，现在来看看Tensor有什么数据类型，下表是官网中给出的信息，在CPU和GPU上各有9种类型。这些类型是特地和NumPy的参数名称一致的，以方便大家认知。

原创 2.2 Tensor的创建

欢迎订阅本专栏！第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础。第三章：学习PyTorch如何读入各种外部数据第四章：利用PyTorch从头到尾创建、训练、评估一个模型，理解与熟悉PyTorch实现模型的每个步骤，用到的模块与方法。第五章：学习如何利用PyTorch提供的3种方法去创建各种模型结构。第六章...

原创 2.1 初识Tensor

Tensor是PyTorch的数据结构，要对PyTorch有深入学习，那么务必要对tensor有所熟悉。2.1.1 tensor是pytorch的基础数据结构假设我们要建立图像分类的模型，整个过程是：（1）将.jpg、.png或其他格式的图片转换成模型能够识别的数据格式input；（2）input进入模型后，在模型的各模块中进行转化，在中间过程形成很多数据表征(intermediate r...

原创 1 初识PyTorch

1.1 什么是PyTorch?pytorch是一个python项目的深度学习库。pytorch核心数据结构是tensor，一个多维数组，类似于Numpy arrays，tensor可用来存储一系列特征，并加速数学运算。Pytorch提供了分布式训练的包、高效数据加载、以及通用的深度学习函数库。非常适合初学者。1.2 为什么要选择使用PyTorch?深度学习大火，做算法的怎么能没有一...

原创 【好书提炼】聊天机器人技术原理与应用

本文作者：王小草 资深算法工程师本文是对2019年3月出版的《自然语言处理实践-聊天机器人技术原理与应用》的全书内容提炼，若有不当之处，请联系本文作者。在此感谢本书作者王昊奋、邵浩、李方圆、张凯、宋亚楠。阅读方法：对聊天机器人、NLP有基础的同学，可以通过本文迅速了解当前聊天机器人或智能对话的系统知识、框架，对感兴趣的点可以自己去深入研究；对聊天机器人、NLP没有基础但又想了解的同学，可以对...

原创 【论文解读】融入预训练机制的自然语言生成-MASS

【文本生成】融入预训练机制的自然语言生成-MASS笔者：王小草日期：2019年12月10日1.前言文本要介绍一篇来自南科大和微软同学的论文，提出了用遮盖词的预训练序列模型来进行文本生成，即使用当前惯用的套路：（1）先用大语料无监督地预训练模型；（2）再在文本生成的任务上进行fine tuning。并在常用的文本生成任务（机器翻译、摘要生成、对话生成）上进行评测，具有优秀的表现。在大语料上...

原创 ImportError: libcudnn.so.7: cannot open shared object file: No such file or directory解决

在跑GPU的时候，出现错误：ImportError: libcudnn.so.7: cannot open shared object file: No such file or directory原因：默认软链的cudnn中没有相应的 libcudnn.so文件。一探究竟：（1）执行命令ll /usr/local,查看该路径下的cuda：，显示有2个版本，cuda-10.0和cuda-...

原创 中文分词发展进程回顾提纲

一、基于词典的方法1 正向最大匹配算法1.从左向右取待切分汉语句的m个字符作为匹配字段，m为大机器词典中最长词条个数。2.查找大机器词典并进行匹配。若匹配成功，则将这个匹配字段作为一个词切分出来。若匹配不成功，则将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切分出所有词为止。流程如下：2 逆向最大匹配算法该算法是正向最大匹配的逆向思维...

原创 【文本表征】2018年自然语言理解最火的三种方法

众所皆知的分布式词向量方法CBOM, skip-gram, Glove等已经成为NLP任务的标配，但致命的缺点是无法区别同一个词在不同语境下的含义，如“bank"无论是银行还是河岸的意思，词向量都是同一个，让人脑壳疼。本文要介绍的是2018年很火的三个方法：Elmo, GPT, BERT。它们能够处理多义词、反应不同的语境，从而更好地理解自然语言，并且在下游NLP任务中有突出表现。1 ELMO...

原创 【强化学习】第三篇--蒙特卡洛方法

作者：王小草笔记时间：2019年1月22日1 蒙特卡罗法的起源蒙特卡罗法的名字来源于世界著名的赌城蒙特卡罗。是用随机数来解决计算问题，即以概率为基础的方法。套路是：生成随机样本–>试验多次–>总结经验利用蒙特卡罗法计算圆周率π：![image_1d1pjdu1i1vka17h8apn1hp41eu89.png-61.7kB][1]利用蒙特卡罗法测量不规则图形的面积：!...

原创 【强化学习】第二篇--基于模型的动态规划法

作者：王小草笔记时间：2019年1月21日1 价值函数的计算困难1.1 最优值函数的递归定义先来回忆一下最优状态值函数和最优状态-行为值函数。最优状态价值函数：考虑这个状态下，可能发生的所有后续动作，并且挑最好的动作来执行的情况下，这个状态的价值。最优状态-动作值函数：在这个状态下执行了一个特定的动作，并且该动作的后续状态总能选取最好的动作来执行，所得到的长期价值以...

原创 【强化学习】第一篇--马尔科夫决策过程

作者：王小草笔记时间：2019年1月20日1 马尔科夫性质与过程1.1 马尔科夫性质马尔科夫性质即：系统的下一状态只与当前状态有关，与以前的历史状态无关。公式表达：特点：当前状态蕴含所有相关历史信息一旦当前状态已知，历史信息将会被抛弃1.2 马尔科夫过程马尔科夫过程即：该过程中所有状态都满足马尔科夫性。表示：马尔科夫过程可以用一个二元组表示...

原创 GAN生成对抗网络入门篇

笔记整理：王小草时间：2019年1月一、GAN简介1 背景全称：generative adversarial network 生成式对抗网络（不一定是深度学习）论文：https://arxiv.org/abs/1406.2661提出者：Ian Goodfellow（也是深度学习花园书的作者）2 Gan能做什么？2.1 生成图片下图，第一张图是真实图片，第二张是使用MSE为损失的监...

原创 Pycharm远程连接GPU服务器

工欲善其事，必先利其器。很多童鞋都是在本地编写和调试代码，然后再将代码通过某种方式传到服务器上，用vim修修改改然后运行。先不说本地和服务器手工维护和同步两份代码劳心劳肺，若不是对vim编辑文件得心应手也自然会费时费力。因此，强烈推荐写python的同学用pycharm远程链接远程服务器，下面具体讲讲如何连接。首先，说明，想要pycharm链接远程服务器，必须是professional版本的p...

原创 文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结PPT

原创 文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结

作者：王小草背景介绍最近对句子的分布式嵌入向量做了些许调研，前程往事自不必多提，未来之事也无需多虑，本文只聚焦于2015年-2018年最近4年最为典型的文献予以介绍和推荐，若读者在工作中有接触和应用更好的方法，跪求您给我留言建议哦，不胜感激。词嵌入或词表征，是用具有语义相似性的向量来表征自然语言中的词语。以此类推，句子嵌入或句子表征，就是用向量来表征自然语言中的句子，使得向量中携带着句子的语...

原创 跨语言词嵌入模型调研报告

作者：王小草 1. 跨语言词嵌入介绍__ 31.0前言__ 31.1 what? 31.2 why? 31.3 how? 31.3.1 how to achieve? 31.3.1 how to evaluate? 32. 跨语言词嵌入实现方法的分类方式说明__ 43. 跨语言词嵌入实现方法详细介绍__ 43.1 词对齐+并行数据__ 43.1....

原创 Pytorch第六课：package-torch.nn详解（2）之 网络结构组建

本节要点：1 卷积层2 池化层3 非线性激活层4 正则层5 循环层6 线性层7 Dropout层8 Sparse层9 Veision层10 Multi-GPU层1 卷积层1.1 一维卷积层类名：class torch.nn.Conv1d(in_channels, out_channels, kernel_size, str...

原创 Pytorch第五课：package-torch.nn详解（1）之Containers（容器）

1 class torch.nn.Moduletorch.nn.Module是所有网络的基类。我们创建的任何模型都应该继承这个类。Modules也可以包含其它Modules,允许使用树结构嵌入他们。你可以将子模块赋值给模型属性。1.1 构建模型现在，让我们来继承Module来建立一个超简单的模型吧。import torch.nn as nnimport torch.nn.functio...

原创 Pytorch第四课：package-torch.Storage类详解

一个torch.Storage是一个单一数据类型的连续一维数组。每个torch.Tensor都有一个对应的、相同数据类型的存储：class torch.FloatStorage1 torch.Storage类型import torchtorch.FloatStorage([1,2,3,4,5])torch.ByteStorage([1,2,3,4,5])torch.ShortStor...

原创 Pytorch第三课：package-torch.Tensor包详解

微博：https://weibo.com/wangxiaocaoai/profile?rightmod=1&wvr=6&mod=personinfo微信公众号：搜索"AI躁动街"本节要点：1 张量的类型2 张量的创建3 张量的索引与切块4 张量的操作4.1 操作名有无下划线的区别4.2 torch.Tensor所有操作列表4.3 torch.Tensor操作举例...

原创 Pytorch第二课：package-torch（2） 之数学操作

微博：https://weibo.com/wangxiaocaoai/profile?rightmod=1&wvr=6&mod=personinfo微信公众号：搜索"AI躁动街"本节要点：1 逐点计算操作2 缩减操作3 比较操作4 其他操作5 线性代数操作1 逐点计算操作# 导入包import torch# 1