- 博客(23)
- 收藏
- 关注
RSS订阅原创 深度学习与PyTorch笔记23
小技巧动量 momentum惯性定义无动量梯度更新的公式：wk+1=wk−α∇f(wk)w^{k+1}=w^{k}-\alpha\nabla f(w^{k})wk+1=wk−α∇f(wk)有动量梯度更新公式：wk+1=wk−αzk+1w^{k+1}=w^{k}-\alpha z^{k+1}wk+1=wk−αzk+1zk+1=βzk−∇f(wk)z^{k+1}=\beta z^{k}-\...
2019-10-12 20:47:03
365
原创 深度学习与PyTorch笔记21
Visdom可视化TensorboardX使用pip install tensorboardX命令来安装。tensorboardX在pytorch中怎么使用：它有一个SummaryWriter，新建一个SummaryWriter实例，把要监听的数据起一个名字，(‘data/scalar’（名字）,dummy_s1[0]（数据）,n_iter（x坐标，代表的是哪一个epoch）)。tens...
2019-03-15 10:11:17
478
原创 深度学习与PyTorch笔记20
激活函数sigmoid压缩0到1，特别适合probability和RGB的像素重建。 容易存在梯度离散。tanhsigmoid函数的缩放平移，压缩-1到1，中间的梯度范围更大。也会存在梯度离散现象，但是在RNN中用的较多。relu在一定程度上解决了sigmoid函数的梯度离散现象。大于0时梯度为1，计算方便。有时也会出现梯度离散，这时需要弥补小于0的部分，x&...
2019-03-14 16:22:12
464
原创 深度学习与PyTorch笔记19
全连接层用nn.linear(ch-in,ch-out)写一个3层全连接层：x#[b,784]layer1=nn.linear(784,200)layer2=nn.linear(200,200)layer3=nn.linear(200,10)x=layer1(x)#[b,200]x=layer2(x)#[b,200]x=layer3(x)#[b,10]加激活函数(rgb的像素重...
2019-03-14 11:13:54
486
原创 深度学习与PyTorch笔记18
交叉熵（cross entropy loss）Entropy熵，不确定性，entropy，uncertainty，measure of surprise，higher entropy=less info，定义：Entropy=−∑ip(i)logP(i)Entropy=-\sum_{i}p(i)logP(i)Entropy=−i∑p(i)logP(i)熵越大越稳定，越小越不稳定。Cro...
2019-03-13 19:51:18
872
1
原创 深度学习与PyTorch笔记17
Logistic Regressionregression一般指连续的。interpret network as f:x→p(y∣x;θ)f:x\to p(y|x;\theta)f:x→p(y∣x;θ)其中，y=1y=1y=1，θ=[w,b]\theta=[w,b]θ=[w,b]使用sigmoid函数output∈[0,1]\in[0,1]∈[0,1]which is exactly w...
2019-03-13 16:00:45
156
原创 深度学习与PyTorch笔记16
2D函数优化实例Himmelblau functionf(x,y)=(x2+y−11)2+(x+y2−7)2f(x,y)=(x^{2}+y-11)^{2}+(x+y^{2}-7)^{2}f(x,y)=(x2+y−11)2+(x+y2−7)2f(3.0,2.0)=0.0f(3.0,2.0)=0.0f(3.0,2.0)=0.0f(−2.805118,3.131312)=0.0f(-2.8051...
2019-03-13 11:05:09
135
原创 深度学习与PyTorch笔记14
链式法则Derivative RulesRulesFunctionDerivativesumf+gf+gf+gf′+g′f^{'}+g^{'}f′+g′differencef−gf-gf−gf′−g′f^{'}-g^{'}f′−g′productfgfgfgfg′+f′gfg^...
2019-03-07 20:56:26
170
原创 深度学习与PyTorch笔记13
感知机单层感知机单层感知机模型：y=XW+by=XW+by=XW+by=∑xi∗wi+by=\sum x_{i}*w_{i}+by=∑xi∗wi+bx0∼n0x^{0}_{0\sim n}x0∼n0上标0表示输入层，下标0~n表示第i个元素。wij1w^{1}_{ij}wij1上标1表示第一层，下标i表示连接上一层的xi0x^{0}_{i}xi0节点，下标j表示连接这一层的第...
2019-03-07 20:11:07
169
原创 深度学习与PyTorch笔记11
高阶OPWheretorch.where(condition,x,y)Return a tensor of elements selected from either x or y,depending on condition.The operation is defind as：outi={xiif conditioniyiotherwiseout_{i} = \be...
2019-02-28 20:31:42
210
原创 深度学习与PyTorch笔记10
tensor的统计属性常见的统计属性：norm(范数)，mean(均值)， sum(求和)，prod(累乘)，max(最大值)，min(最小值)，argmin(最小值位置)，argmax(最大值位置)，kthvalue(求第k个小的值的位置)，topk(求前k个大的值)normnorm-p.norm(1)一范数，所有元素绝对值求和.norm(2)二范数，所有元素绝对值的平方和，再开根....
2019-02-28 15:57:04
195
原创 深度学习与PyTorch笔记9
tensor基本运算add/minus/multiply/divide加torch.add减torch.sub乘torch.mul除torch.divimport torcha=torch.rand(3,4)b=torch.rand(4)print(a)print(b)print(a+b)print(torch.add(a,b))print(torch.all(torch.eq...
2019-02-28 11:05:34
635
原创 深度学习与PyTorch笔记8
Broadcast自动扩展作用：expand维度扩展without copying data不需要复制数据。步骤：1、insert 1 dim ahead，最前面自动扩展一个维度，shape为1。2、expand dim with size 1 to same size，将维度为1的扩展成与原数据相同的大小feature maps:[4,32,14,14]bias:[32,1,1]–[...
2019-02-27 20:34:32
173
原创 深度学习与PyTorch笔记7
Tensor维度变换view/reshapelost dim informationview和reshape用法完全相同，将数据合并，必须要有物理意义。适用于全连接层。缺点：不好还原数据。squeeze/unsqueeze挤压、减少维度/展开、增加维度squeeze：unsqueeze：取值范围为[-a.dim()-1,a.dim()+1)正数：在前面插入。负数：在后面插入。...
2019-02-27 10:10:48
221
原创 深度学习与PyTorch笔记6
索引与切片（冒号的用法）indexingselect first/last N取连续的片段，正向从0，反向从-1。select by steps有间隔采样。select by specific index给具体的索引号。a.index_select(0,torch.tensor([0,2]))第一个参数为维度，对第0维也就是照片张数采样，第二个参数为选中的第0张照片和第二张照...
2019-02-25 21:32:48
284
原创 深度学习与PyTorch笔记5
创建Tensorimport from numpy从numpy中导入。import from list数据量不是很大。torch.tensor承接的参数量是现成的数据，要么是numpy要么是list。torch.Tensor，torch.FloatTensor承接的参数是shape，数据的维度，也可以承接现有数据，必须是list。生成未初始化的数据1、Torch.empty()...
2019-02-25 20:20:06
1199
原创 深度学习与PyTorch笔记4
基本数据类型pythonPyTorchIntIntTensor of size()floatFloatTensor of size()Int arrayIntTensor of size [d1,d2,…]Float arrayFloatTensor of size [d1,d2,…]string- -内部没有自带的表示string的方...
2019-02-17 22:27:23
168
原创 深度学习与PyTorch笔记3
简单回归案例梯度下降算法迭代，求导，算极值。x′=x−x∗∗lrx'=x-x^**lrx′=x−x∗∗lrx′x'x′为新值，x∗x^*x∗为梯度（导数），lrlrlr为学习率，设小一点，慢慢的逼近最优解。梯度下降的求解器,加了约束，导致求解过程变得更快，最优解的精度变高，目前用的最多的有原始版本的sgd，还有rmsprop，以及最常用的Adam。...
2019-02-15 23:25:13
175
原创 深度学习与PyTorch笔记2
开发环境准备Python3.7+Anaconda5.3.1安装完成后的测试：1.运行cmd>conda list检测下载的包2.运行cmd>conda --version检测下载的版本（conda 4.5.12）CUDA 10.0安装完成后的检测：安装路径下的bin目录中有nvcc的程序（CUDA语言的编译器），dos命令行中输入nvcc -V,看版本是否正确。第一次安装...
2019-02-12 14:55:51
170
原创 深度学习与PyTorch笔记1
深度学习与PyTorch笔记1动态图计算的进行和代码的运行是同时的。静态图先构建函数，之后便不能更改，只能喂数据。好处：一次成型，一旦建好之后使用起来非常方便，不需要自己中间修改。问题：比如TensorFlow自建了一套命名体系，中间的所有变量和时序的控制逻辑都是使用自己的，用Python写的时候就非常麻烦，所以TensorFlow2.0支持动态图优先。使用PyTorch的优势1.GP...
2019-02-11 17:49:54
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人