- 博客(7)
- 收藏
- 关注
RSS订阅原创 [Pytorch进阶技巧(零)] Pytorch中计算图的建立与运行
前言如今Pytorch的使用率正在超过tensorflow。虽然pytorch的开发效率比tensorflow高很多，但是使用tensorflow可以对计算图的概率更加清晰。关于tensorflow可以参考我的博文tensorflow。不清楚pytorch背后的计算图概念，在进行pytorch编程时可能会遇到：随着迭代显存占用不断增大，直至报错；报错参数不在同个设备，比如报错cpu里的浮...
2020-07-30 00:19:24
2119
1
原创 [从零开始Java web开发] 个人学习记录
前言研究生阶段主要用python做神经网络模型压缩，如今工作需要，从零开始学习Java web开发(实则只看了3天)。ide: idea + maven(快速配置依赖jar包) + ssh框架，部署到tomcat，使用mysql数据库。关于环境配置这里不进行描述。记录学习过程，很多语言不专业。maven，ssh，tomcat，mysql是啥maven: 就像python需要anaconda对...
2020-04-26 17:26:29
299
原创 Tensorflow基础API与使用技巧总结(最快学会使用TF)
前言硕士阶段tensorflow、pytorch双修。开始使用tensorflow基础api复现过各种神经网络网络算法，包括：各种网络结构如DenseNet，基础api撸出来的反响传播，非常规训练算法BinaryNet, FTPROP, 网络修剪Taylor Pruning。之后实习的公司使用Pytorch，所以转了pytorch。也有快半年没使用tensorflow了，复习总结下tensorf...
2020-04-25 14:53:38
441
1
原创 [Pytorch进阶技巧(二)]如何获取网络模型的前向传播路径
为什么需要模型的前向传播路径无论是可视化网络结构，还是计算网络参数个数与浮点运算次数，还是算法中需要网络整体结构信息，都需要获取网络模型的前向传播路径。从pytorch代码角度考虑，就是依照次序获得并记录各个Module中的forward()过程。难点是什么对pytorch熟悉的都知道，网络模型是通过Module的sub_modules()组成的。通过迭代访问Module的子Module可以...
2020-04-13 14:47:11
907
1
原创 [Pytorch进阶技巧(一)] 使用add_module替换部分模型
为什么要用add_module()函数某些pytorch项目，需要动态调整结构。比如简单的三层全连接l1,l2,l3l1, l2, l3l1,l2,l3，在训练几个epoch后根据loss选择将全连接l2l2l2替换为其它结构l2′l2'l2′。使用了别人编写的pytorch代码，希望快速地将模型中的特定结构替换掉而不改动别人的源码。什么是add_module()函数具体函数定义直接查...
2020-04-09 18:41:56
25116
5
原创 [自然语言处理nlp(一)] Transformer运算过程与代码解析
硕士主要研究CV方面的神经网络模型压缩。近期开始学习NLP，增加知识同时也希望将模型压缩算法应用于最新的NLP模型。原文地址模型结构class EncoderDecoder(nn.Module): """ A standard Encoder-Decoder architecture. Base for this and many other models. ...
2020-04-06 16:05:30
922
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人