![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch学习
文章平均质量分 91
AI让世界更懂你
计算机科学与技术专业博士,主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛,包括并不限于人工智能,心理学,认知科学,语言学,数学,天文学等。让我们一起和AI,改进世界!
展开
-
手把手教会你在Linux服务器上安装用户级别的CUDA
0. 问题引入随着深度学习的发展,越来越多的人都加入这个行业中来,然而计算资源有限,很多时候我们很多人都在共用一个服务器,而且多半是没有管理员权限的。那么怎么能够安装自己的运行环境呢?有两个部分需要注意的,一个是底层的驱动+cuda,令一个是上层的conda环境。对于conda的环境的安装,已经非常容易了,如果你只需要一个虚拟环境,那么你可以看一下:《conda的安装与使用》,但是更难的,是安装自己的CUDA,因为有些python的包需要特定的版本,比如LTP需要pytorch1.6以上,而pytorc原创 2020-11-30 16:11:50 · 15726 阅读 · 28 评论 -
转战pytorch——XLNet初体验(5)
1. 前言几个月不见,huggingface的transformer框架在代码层面也早就已经完成了大一统预训练模型,在前几个文章里介绍的很多代码都已经集成到框架之中了,而且通过层层继承和多态,使得你很难再一下就能看出其逻辑了。并且,连训练测试过程都开始朝着曾经keras的方向发展了,使用一个Trainer作为实验实例,只需要传递给其模型和数据集,它就可以自动完成模型的训练和保存。我似乎看到了Pytorch版的keras的影子。鉴于之前的代码和模型都已经被transformer统一整理集成了,因此这里则介原创 2020-11-15 20:32:56 · 4506 阅读 · 20 评论 -
一步一步,手把手带你用最简单的方法,在linux上安装anaconda
1 前言本文将会一步一步用最简单的方法,手把手带你在linux上安装anaconda,不改文件,不需要管理员权限,普通用户也可以操作!当我们想利用服务器进行深度学习/数据分析时,我们通常需要使用Python环境。尽管目前Linux都自带了python环境,但是由于原版的Python的pip还是存在很多兼容性问题,因此,一方面为了能够对新手友好一些,另一方面为了保证环境的存粹性,我们还是提倡使用anaconda进行程序的开发。本文的出发点是,当我们创建了一个非系统管理员的用户时,这时候使用Pip ins原创 2020-07-26 09:30:46 · 1584 阅读 · 0 评论 -
真正的秘笈!授人鱼不如授人渔,如何用pytorch编写一个完美又不失自由的数据准备、模型构建、训练、评估、测试流程?看完本文大呼过瘾!
前言之前的教程中,有同学要求将讲解的代码开源,以方便使用。本文将会用最精简的框架去介绍来自顶级公司的pytorch模型的整个框架及流程,并整理开源为通用的模型框架,供研究使用。(如果你还没有阅读过之前的基础知识,建议通过传送门大概了解一下。)代码连接本文的模型框架主要来源于谷歌的BERT开源代码、大名鼎鼎的Huggingface、AllenNlp以及Albert中文版等,通读完这些代码,你会...原创 2020-04-07 21:58:20 · 645 阅读 · 0 评论 -
转战pytorch——实现自己的任务(4)
文章目录前言1. 模型的构建1.1 attention的实现2. 修改processor2. 神经网络loss的各种情况与解析3.小技巧9. 小结前言在前面的三章中,我们分别介绍了pytorch的组件,详细解读了官方的代码示例,了解python的运行过程,并利用最新的自然语言处理模型Albert实现了一次文本分类。但是,如果我们需要构建属于自己的数据处理、模型以及评估该怎么办呢?本文将会在接下...原创 2020-02-29 21:07:23 · 1421 阅读 · 0 评论 -
转战pytorch(3)——跟上脚步(以Albert为例)
文章目录前言1. 初识1.1 设置种子1.2 训练过程1.2.1 训练加载器1.2.2 设置优化器及规则1.2.3 多GPU和分布式训练1.2.4 训练过程1.2.4.1 日志打印1.2.4.2 设置训练参数1.2.4.3 迭代循环1.3 评估过程1.3.1 加载数据1.4 加载数据1.5 主函数1.5.1 加载模型1.5.2 训练过程1.5.3 评估过程2. 模型搭建2.1模型配置2.2 模型搭...原创 2020-02-23 23:08:03 · 4085 阅读 · 6 评论 -
转战pytorch(2)——“简单”训练
文章目录前言1. 无需pytorch也可以做神经网络1.1 数据准备(代码片段1)1.2 非pytorch训练(代码片段2)2. 融入pytorch内置函数3. 进一步封装和改进4. 将实验做完整4.1 使用Dataset和Dataloader进行加载数据4.2 增加验证集5. 使得学习和反向传播过程更加简便5.2 完全展示6. 框架多样性6.1 使用卷积神经网络6.2 使用序贯模型6.3 适用性...原创 2020-02-17 19:48:08 · 1296 阅读 · 4 评论 -
转战Pytorch(1)——清点装备
前言本文适用于曾经使用过Keras,tensorflow,并具备一定深度学习概念的人。由于tensorflow正在完成2.0的转型,越来越多的研究转向Pytorch,因此有必要快速入门一下Pytorch。相比较0基础的人,有一定深度学习基础的同学能够快速的将pytorch和Keras等其他深度学习框架概念相对应,更快的学习pytorch,并将自己的研究迁移到pytorch上来。本文就是完成此目的...原创 2020-02-14 19:27:42 · 1378 阅读 · 0 评论