深度学习入门
文章平均质量分 87
-meteor-
这个作者很懒,什么都没留下…
展开
-
深度学习基础——week4
音乐、语言、文本、视频、股价…假设当前当前数据只跟 τ\tauτ 个过去数据点相关p(xt∣x1,…xt−1)=p(xt∣xt−τ,…xt−1)=p(xt∣f(xt−τ,…xt−1))p\left(x_{t} \mid x_{1}, \ldots x_{t-1}\right)=p\left(x_{t} \mid x_{t-\tau}, \ldots x_{t-1}\right)=p\left(x_{t} \mid f\left(x_{t-\tau}, \ldots x_{t-1}\right)\righ原创 2022-06-17 21:49:01 · 327 阅读 · 0 评论 -
深度学习基础——week3
残差结构有效解决了梯度消失/爆炸、退化问题重点:1X1卷积层作用是改变通道数右边的方法有效减少了参数重点:目的:使得一批(Batch)数据的特征矩阵每个维度满足均值为0,方差为1。(还有γβ\gamma \quad \betaγβ)对象:一批数据,某一个通道的所有特征矩阵注意:训练时,traning:True 验证时:traning:FalseBatch size 越大越好bn层建议放在卷积层后,卷积不要使用bias (没用)μσ2\mu \quad \sigma^{2}μσ2在正向传播过程中统计得到γβ原创 2022-06-17 21:45:09 · 87 阅读 · 0 评论 -
深度学习基础——week2
Step1: 搭建神经网络结构Step2: 找到一个合适的损失函数(Cost Function)Eg : 回归损失:均方误差(MSE),平均绝对值误差(MAE)分类损失:交叉熵损失,hinge lossStep3: 找到一个合适的优化函数,更新参数反向传播(BP),随机梯度下降(SGD),螺旋数据分类用的 Adam 等等。全连接层的花费是巨大的,一张百万像素的图片输入维度1000000,假如隐藏层维度为1000,那么就需要10910^9109个参数。此外拟合这么多的参数也需要巨量的数据,参数过多也可能会出现原创 2022-06-17 21:44:05 · 678 阅读 · 0 评论 -
深度学习基础——week1
PyTorch 是基于以下两个目的而打造的python科学计算框架:无缝替换NumPy,并且通过利用GPU的算力来实现神经网络的加速。通过自动微分机制,来让神经网络的实现变得更加容易。张量如同数组和矩阵一样, 是一种特殊的数据结构。在PyTorch中, 神经网络的输入、输出以及网络的参数等数据, 都是使用张量来进行描述。张量属性从张量属性我们可以得到张量的维数、数据类型以及它们所存储的设备(CPU或GPU)。张量运算运算例如转置、索引、切片、数学运算、线性代数、随机采样等,下面是一些常见的张量运原创 2022-06-17 21:41:51 · 241 阅读 · 0 评论