Pytorch学习
文章平均质量分 92
Saul Zhang
https://github.com/SaulZhang
展开
-
神经网络框架--动态计算VS静态计算
动态计算VS静态计算动态计算意味着程序将按照我们编写命令的顺序进行执行。这种机制将使得调试更加容易,并且也使得我们将大脑中的想法转化为实际代码变得更加容易。而静态计算则意味着程序在编译执行时将先生成神经网络的结构,然后再执行相应操作。从理论上讲,静态计算这样的机制允许编译器进行更大程度的优化,但是这也意味着你所期望的程序与编译器实际执行之间存在着更多的代沟。这也意味着,代码中的错误将更加难以发...原创 2018-08-10 16:27:00 · 2558 阅读 · 0 评论 -
利用BCELoss解决Multi-label问题
class torch.nn.BCELoss(weight=None, size_average=True)[source]计算 target 与 output 之间的二进制交叉熵。 loss(o,t)=−1n∑i(t[i]log(o[i])+(1−t[i])log(1−o[i])) loss(o,t)=-\frac{1}{n}\sum_i(t[i] log(o[i])+(1-t[i]) log...原创 2018-10-23 10:49:04 · 11279 阅读 · 0 评论 -
3. Longest Substring Without Repeating Characters
3. Longest Substring Without Repeating CharactersDescription:Solution:题解1:原创 2018-10-22 19:48:53 · 98 阅读 · 0 评论 -
在腾讯云主机上搭建pytorch深度学习环境
在腾讯云主机上搭建pytorch深度学习环境1.购置[腾讯云主机](https://cloud.tencent.com/?fromSource=gwzcw.234976.234976.234976)(按按需计费/定期购买) 2.使用账号密码登录云主机3.使用WinSCP将本地与远程服务器进行连接 (利用服务器公网IP地址进行连接)4.上传数据如果遇到遇...原创 2018-09-09 14:32:59 · 6803 阅读 · 6 评论 -
Pytorch常用函数
一、模型的保存与加载 实现训练过程中模型的保存,以及在预训练的基础上继续训练模型 ①保存和加载整个模型# 保存和加载整个模型torch.save(model_object, 'model.pkl')model = torch.load('model.pkl')②只保存模型中的参数# 仅保存和加载模型参数(推荐使用)torch.save(model_object.state...原创 2018-08-17 20:14:32 · 4326 阅读 · 0 评论 -
SPPNet——空间金字塔池化
论文链接:https://arxiv.org/pdf/1406.4729.pdf 一、SPPNet简介 SPP就是在卷积神经网络的卷积层和第一层全连接层之间加入一层空间金字塔池化层,时使得网络可以接受任意尺寸的图片作为输入。 不采用SPP的一般卷积神经网络都得要求输入的图片具有固定的尺寸,因为经过最后一层卷积层到第一层全连接层的过程中需要把卷积层以及池化层提取到的特征进行flatten,然后...原创 2018-08-18 14:45:52 · 2361 阅读 · 0 评论 -
卷积神经网络解析
转载出处:https://blog.csdn.net/lanran2/article/details/79057994#commentBox ResNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域都纷纷使用ResNet,Alpha...转载 2018-08-18 11:02:39 · 392 阅读 · 0 评论 -
深度学习--为什么要深?
深度学习–为什么要深?一、深度与模块化 \;\;\;\;\;对于一个分类的问题的简化,我们可以先训练一个Basic classfier,然后将其共享给following classfier,通过多层的分类器进行特征的提取,用较少的数据就可以训练好网络。而在deep的模型当中,Basic classfier是由神经网络自己学到的,然后通过更多层的网络可以使得classfier逐...原创 2018-08-13 13:45:41 · 2414 阅读 · 0 评论 -
正则化L1 regularization、L2 regularization、Dropout
Regularization重新定义了目标函数,为了通过是的权重的值都接近于0,使得目标函数更加的平滑减少样本中的噪声对训练的结果所造成的影响。(用于解决overfitting问题zhengzehua) L′(θ)=L(θ)+、lambda||θ||θ={w1,w2,...,wn}L′(θ)=L(θ)+、lambda||θ||θ={w1,w2,...,wn}L'(\theta)=L(\th...原创 2018-08-12 16:42:33 · 483 阅读 · 0 评论 -
基于Pytorch实现深度学习优化算法(Adagrad/RmsProp/Momentum/Adam)
以下介绍深度学习的主要几种参数更新的优化方法 1.Adagrad 使得学习率η∑ti=0(g2i)√η∑i=0t(gi2) \frac{\eta}{\sqrt{\sum_{i=0}^t(g_i^2)}}可以自适应,对于出现频率较低参数采用较大的α更新;相反,对于出现频率较高的参数采用较小的α更新。因此,Adagrad非常适合处理稀疏数据。 wt+1←wt−η∑ti=0(g2i)+ε‾‾‾‾‾...原创 2018-08-12 12:25:17 · 14711 阅读 · 4 评论 -
MathJax basic tutorial and quick reference
1.行内公式:Γ(n)=(n−1)!∀n∈ℕΓ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N 2.块级公式x=−b±b2−4ac‾‾‾‾‾‾‾‾√2ax=−b±b2−4ac2a x = \dfrac{-b \pm \sqrt{b^2 - 4ac}}{2a} 3.xyz=(1+ex)−2xyw×−+÷xyz=...原创 2018-08-11 15:55:46 · 327 阅读 · 0 评论 -
视频中的I、P、B帧
1.I、P、B帧概念简述视频解码之后,每帧都代表一幅静态的图像。而在实际压缩时,为了节省存储空间,往往会采取各种压缩算法减少数据的容量,其中I、P、B帧就是最常见的。简单地说,I帧是关键帧就是一副RGB图像,属于帧内压缩,解码时只需要利用到I帧其本身的信息即可;P帧为前向预测编码帧,即P帧解码时需要参考前面相关帧的信息才能解码;B帧为双向预测编码帧,解码时既需要参考前面已有的帧又需要参考后面待解...原创 2018-10-30 11:36:30 · 10695 阅读 · 0 评论