pytorch
pytorch知识集
moonbaby1
记录学习
展开
-
pytorch8--LSTM
一.LSTMRNN的H只能保留最近一段时间的memory原始RNNLSTM的初衷:ht-1过滤门过滤一部分信息,xt-1过滤一部分信息,两者结合再过滤一部分信息,最后输出。对信息的过滤通过sigmoid函数实现一个sigmoid一个门。Ct-1控制过去的信息,ht-1和xt得到新的输入,通过运算乘,信息过滤;+信号融合1.遗忘门ht-1和新来的xt信息融合后,经过过滤得到t时刻遗忘的量ct-1×ft得到过去信息遗忘之后的信息(过滤后的历史信息)2..原创 2020-07-16 22:25:26 · 420 阅读 · 0 评论 -
pytorch7--循环神经网络RNN、正弦曲线预测
目录一.循环神经网络1.RNN模型2.查看RNN网络的input dim,hidden dim3.nn.RNN(类)Single layer RNN2 layer RNN4.nn.RNNCell(类)Functional(Single layer )Functional(2 layer )二.正弦曲线预测一.循环神经网络1.RNN模型10个单词,...原创 2020-02-14 22:03:03 · 1291 阅读 · 0 评论 -
pytorch5--卷积神经网络
目录一.卷积神经网络1.卷积2.Down sample、Up sample3.Relu4.Batch-Norm二.经典卷积神经网络ResNet原理ResNet实现一.卷积神经网络1.卷积全连接层参数量非常大,提出局部相关性,权值共享的思想。卷积操作的实现,最左边为一张图片的RGB,input x有b张图片,3个RGB通道,图片大小28*28;每一...原创 2020-02-11 21:37:59 · 280 阅读 · 0 评论 -
pytorch4--正则化、动量学习率、Dropout
目录一.Reduce OverfittingL1-regularizationL2-regularization二.动量三.学习率scheme1scheme2四.Dropout一.Reduce OverfittingMore data Constrain model complexityshallow regularizationDropout D...原创 2020-02-11 00:19:24 · 355 阅读 · 0 评论 -
pytorch3--过拟合、交叉验证
目录一.过拟合1.欠拟合,过拟合how to detect overfitting二.Train-Val-Test1.划分Train-Val-Test2.实现代码3.交叉验证,k-fold cross validation一.过拟合1.欠拟合,过拟合Estimated<Groud-truth,UnderfittingEstimated>G...原创 2020-02-09 21:59:56 · 1078 阅读 · 1 评论 -
pytorch2--全连接层、GPU加速、测试
目录一.全连接层1.nn.Linear2.加入relu3.nn.ReLU与F.relu4.封装网络结构二.激活函数与GPU加速三.测试四.封装网络结构+nn.ReLU+GPU加速实现多分类一.全连接层1.nn.Linear不需要建立w/b,将torch.Size([1, 784])输出为torch.Size([1, 10])即实现in784->...原创 2020-02-07 01:18:09 · 1479 阅读 · 0 评论 -
pytorch1--多分类问题
一.区别logistic Regression与Classification目录一.区别logistic Regression与Classification1.logistic Regression(逻辑回归)2.Binary Classification(二分类)问题1:分类问题中,why not maxmize accuracy?问题2:why call logisti...原创 2020-02-02 23:19:37 · 1172 阅读 · 0 评论