![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NN技术
文章平均质量分 67
NN技术概念
迪三
聚焦AIGC应用, 文章都是即时原创,看修订和完善版,请订阅微信公众号 <<迪AI>>。
后续若有配套讲解/代码,会放到《b站》/《github》。
展开
-
音频处理5_时频谱1
介绍 时频谱,mel谱, MFCC。原创 2024-07-08 00:54:01 · 782 阅读 · 0 评论 -
激活函数numpy实现(Sigmoid, Tanh, Relu, Softmax)
激活函数numpy实现1.Sigmoid2.Tanh3.Relu4.Softmax你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。1.Sigmoidsigmoid(y)=11+e−x sigmoid(y) = \frac{1}{1 + e^{-x}} sigmoid(y)=1+e−x12.Tanhtanh(y)=2∗sigmoid(2∗x)−1 tanh(y) = 2原创 2021-08-29 22:40:10 · 626 阅读 · 0 评论 -
深度学习中优化器 (optimizer) 的选择:SGD, AdaGrad, AdaDelta
optim的一些理论基础1.训练过程神经网络的训练过程如下:做一个神经网络用于拟合目标函数做一个真实值和目标函数值直接估计误差的损失函数,用损失函数值前向输入值求导,再根据导数的反方向去更新网络参数(x),目的是让损失函数值最终为0.2.专有名词SGD在第四步中,参数的更新就是pytorch中的optim(优化过程),现在都是随机梯度下降,即每次更新是通过随机抽样来更新参数(总数的一小部分,简称为一个batch)。公式: (1)为此,需要设置一个学习率,保证每个batc原创 2020-10-06 18:37:29 · 2475 阅读 · 0 评论 -
浅谈torch.nn库和torch.nn.functional库(Pytorch)
浅谈torch.nn库和torch.nn.functional库这两个库很类似,都涵盖了神经网络的各层操作,只是用法有点不同,nn下是类实现,nn.functional下是函数实现。conv1d在nn下是一个类,一般继承nn.module通过定义forward()函数计算其值class Conv1d(_ConvNd): def __init__(self, in_chan...原创 2019-12-23 12:16:17 · 843 阅读 · 1 评论 -
损失函数小结 - Loss function
介绍现在nn常用的损失函数,如分类任务原创 2021-12-21 14:02:35 · 265 阅读 · 0 评论 -
神经网络计算过程(正向传播,反向传播,优化策略和参数更新)
神经网络计算过程原理是设计一个多参数的非线性组合模型,即多层神经网络model.用这个model来近似(拟合)一个无法求出的复杂函数 y = f(x).(输入x和输出y皆为高维变量的)定义这个模型的前向传播过程,即forward : 即数据input进model,model输出output,类似y=f(x).根据Loss的定义,一般为真实样本的(y,x),和模型的随机输入和输出 (z,y’)的比较函数。在Loss中分别对每个维度的参数求其偏导数,得到每个参数的偏导数值即x_i.grad()原创 2020-10-06 18:31:10 · 1115 阅读 · 0 评论