- 博客(9)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 【PyTorch学习笔记】16：Early Stop,Dropout,Stochastic Gradient Descent
Early Stop如果一直训练，训练集上的性能可以一直上升，但验证集上的性能在经过某个点之后就可能开始下降，这时就是模型出现了over-fitting，提前停止就是用来克服over-fitting的。但是没训练完怎么知道哪个点是最大值点呢？可以用经验来判断，比如当连续多个epoch上的验证集Acc.在下降时就停止训练。Dropout简述为每个连接设置一个probability的属性，以...
2019-03-28 19:10:05
4428
原创 【PyTorch学习笔记】15：动量(momentum),学习率衰减
动量(momentum)简述之前学习的用梯度更新参数www的公式：wk+1=wk−α⋅∇f(wk)w_{k+1}=w_k - \alpha \cdot \nabla f(w_k)wk+1=wk−α⋅∇f(wk)其中α\alphaα是学习率。现用zk+1=β⋅zk+∇f(wk)wk+1=wk−α⋅zk+1z_{k+1}=\beta \cdot z_k + \nabla f(w_k...
2019-03-27 19:57:52
11845
原创 【PyTorch学习笔记】14：划分训练-验证-测试集,使用正则化项
划分训练-验证-测试集简述测试集一般都是客户用来验收模型的，是拿不到的，在Kaggle比赛里就是用来计算选手模型的score的集合。而训练集拿到以后要划分成训练集和验证集，只用训练集来训练，验证集用来以一定的频率对模型的performance做验证，也就是用来防止over-fitting的，在训练过程中可以得到验证集的Loss或者acc.的曲线，在曲线上就能大致判断发生over-fitting...
2019-03-27 17:30:54
20826
原创 【PyTorch学习笔记】13：使用Visdom可视化训练-测试过程
在PyTorch的可视化中，相比tensorboardX，Visdom更简洁方便一些（例如对image数据的可视化可以直接使用Tensor，而不必转到cpu上再转为numpy数据），刷新率也更快。安装Visdom直接用pip安装的话在windows上面可能出现问题，先从Github上下载Visdom的源码，进入解压后的目录，执行：pip install -e .即从当前目录下的setup...
2019-03-26 15:08:46
6638
11
原创 【PyTorch学习笔记】12：继承nn.Module定义MLP,使用GPU加速
继承nn.Module定义MLP上一节学习写LR多分类的时候，网络中的参数w和b都是自己手动定义的（而且w的shape是[输出,输入]），对深度学习框架来说其实没必要那么麻烦，可以直接用现成的定义层的方式来定义。import torchfrom torch import nnfrom torch.nn import functional as F# 模拟一张28x28的图片摊平x =...
2019-03-25 20:48:37
5368
5
原创 【PyTorch学习笔记】11：LR做MNIST手写数字的多分类demo
尽管ReLU相比其它激活函数已经大大避免了发生梯度消失或者为0的现象，但不好的参数初始化方法也会导致这种情况的出现。使用标准正态分布初始化这里用torch.randn()来做实际上就是对参数w和b进行了N~(0,1)的标准正态分布初始化，这个初始化值都很小，比较接近0。import torchfrom torch.nn import functional as Ffrom torch i...
2019-03-23 23:17:50
895
原创 【PyTorch学习笔记】10：Logistic Regression,Cross Entropy Loss
Logistic Regression简述Logistic Regression虽然叫Regression，但是都用来解决分类问题，这是一个历史遗留问题。虽然它得到的是一个连续的值，它实际上做的是一个分类的工作（而不是回归）：y=σ(xw+b)y=\sigma (xw+b)y=σ(xw+b)得到的y在0到1之间，可以看做概率值，也就是将x二分类的概率。如果输出0.4就预测为0，如果输出0....
2019-03-23 00:15:49
1509
原创 【PyTorch学习笔记】9：感知机,链式法则,对Himmelblau函数的优化实例
感知机单层感知机的例子import torchfrom torch.nn import functional as Fx = torch.randn(1, 10)w = torch.randn(1, 10, requires_grad=True)# 对输出用sigmoid激活o = torch.sigmoid(x @ w.t())print("输出值:", o)# 计算MSE...
2019-03-21 23:26:00
1659
原创 【PyTorch学习笔记】8：激活函数,损失函数,使用PyTorch求导
激活函数在PyTorch的老版本里这些激活函数在torch.nn.functional下，现在大多已经改到了torch下。Sigmoid数据将被映射到0到1之间。f(x)=σ(x)=11+e−xf(x)=\sigma (x)=\frac{1}{1+e^{-x}}f(x)=σ(x)=1+e−x1import torcha = torch.linspace(-100, 100, 10)...
2019-03-20 22:57:12
2708
1
算符优先分析法
2018-05-22
已经整合好的小型S2SH框架(完全注释+依赖jar包)
2018-05-13
举例说明汇编语言子程序递归调用过程中堆栈内容的变化过程
2017-12-03
有关Linux进程家族树
2017-10-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人