- 博客(6)
- 收藏
- 关注
RSS订阅原创 深度学习中的优化问题与优化算法实现（二）之优化算法实现
优化算法实现（1）小批量随机梯度下降 设⽬标函数f(x):Rd→Rf(x):\mathbf R^d \rightarrow \mathbf Rf(x):Rd→R。在迭代开始前的时间步设为0。该时间步的⾃变量记为 ，通常由随机初始化得到。在接下来的每⼀个时间步 中，⼩批量随机梯度下降随机均匀采样⼀个由训练数据样本索引组成的⼩批量 。 gt←∇fBt(xt−1)=1∣B∣∑i∈Bt∇f...
2020-04-05 23:57:44
416
原创 深度学习中的优化问题与优化算法实现（一）之优化问题分析
深度学习中优化的两个挑战：局部最小值和鞍点（1）局部最小值 ：对于目标函数f(x),如果存在f(x)的值比在x邻近的其他值更小，那么f(x)可能是一个局部最小值（local minimum)举个例子，给定函数：$ f(x)=x \cdot cos(pi*x) $%matplotlib inline import sysimport numpy as npimport pandas as...
2020-04-04 17:13:18
711
原创 深度学习中卷积与池化代码实现
深度学习网络中基本操作代码实现1 卷积操作代码实现卷积操作import torchimport torch.nn as nndef MyCon2D(X,K): h,w=K.shape Y=torch.zeros((X.shape[0]-h+1,X.shape[1]-w+1)) #定义输出的大小 for i in range(Y.shape[0]): ...
2020-04-01 21:46:18
615
原创 模型构造与基本深度学习基础操作2020/04/01
模型构造与基本深度学习基础操作继承MODULE类来构造模型定义MLP类重载module类的__init__ 和forward函数，分别用于创建模型和进行前向计算，无需定义反向传播函数，系统会通过自动求梯度，生成backward函数import torchimport torch.nn as nnclass MLP(nn.Module): def __init__(self):...
2020-04-01 18:44:54
346
原创 pytorch自动求导
day2 自动求梯度理解pytorch 自动求梯度机制以及相关的操作，主要是以例子说明创建一个Tensor并设置requires_grad=Trueimport torchx=torch.ones(2,2,requires_grad=True) #跟踪tensor的操作print(x)print(x.grad_fn) #返回与运算相关的对象，否则为Nonetensor([[1...
2020-03-28 17:42:02
174
原创 Tensor基本操作
#创建并初始化一个随机的tensor x=torch.rand(5,3)print(x)tensor([[0.2764, 0.5943, 0.1787], [0.5097, 0.2853, 0.3463], [0.9110, 0.6389, 0.2536], [0.9433, 0.6114, 0.0199], [0.7834,...
2020-03-27 12:24:56
680
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人