- 博客(6)
- 收藏
- 关注
RSS订阅原创 PyTorch实践(三)
梯度凸函数可以找到全局最优解影响搜索全局最优解的因素：初始状态（权值需要初始化）动量（摆脱局部最小值）学习率（影响收敛速度与精度）激活函数及其梯度f(x)=σ(x)=11+e−xf(x)=\sigma(x)=\frac{1}{1+e^{-x}}f(x)=σ(x)=1+e−x1有点：连续光滑，压缩在0~1，且计算方便缺点：梯度消失f(x)=tanh(x)=(ex−e−x)(ex+e−x)=2sigmoid(2x)−1\begin{aligned}f(x)=& \
2021-05-23 16:08:52
97
原创 PyTorch实践(二)
Broadcast自动扩展在前面插入一个新的维度扩展维度为1的维度变为相同的维度tensor拼接与拆分函数作用torch.cat([a ,b],dim=d)tensor拼接（除d维度其他维度必须相同) torch.stack()
2021-04-06 09:50:10
96
原创 PyTorch实践(一)
基本数据类型torch中所有的数据类型都为tensor(张量)dim为维度，size为某一维的数量创建tensor从numpy中创建torch.from_numpy()从list中导入torch.tensor(list)uninitializedTorch.empty()Torch.FloatTensor(d1,d2,d3)Torch.IntTensor(d1,d2,d3)随机初始化函数作用torch.rand(shape)从0~1中初始化torc
2021-04-05 00:18:10
239
原创 深度学习(神经网络)
Neural NetworkThe step for deep learningdefine neural networkgoodness of functionpick the best functionBack Propagation(反向传播)recipe of deep learning
2021-03-30 09:24:18
131
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人