笔记
文章平均质量分 91
等待整个冬天
AI芯片研究僧
展开
-
小波阈值去噪--最详细易懂
因此,经小波分解后,信号的小波系数幅值要大于噪声的系数幅值,可以认为,幅值比较大的小波系数一般以信号为主,而幅值比较小的系数在很大程度上是噪声。信号经过小波变换得到的小波系数含有重要的时频信息,真实信号的小波系数较大,噪声的小波系数较小,选取一个合适的阈值,保留系数较大的,将小的置0,就可保留信号滤除噪声。软阈值通常设置一个阈值λ,当小波系数向0收敛过程中,大于λ的系数,置为sgn(W)(|W|-λ),对于小于λ的小波系数,直接置0,可以获得更加平滑的去噪信号。对处理后的信号重构,得到去噪声后的信号。原创 2023-12-01 21:55:19 · 2726 阅读 · 1 评论 -
注意力机制(二)--注意力评分函数--李沐动手学深度学习
下图说明了 如何将注意力汇聚的输出计算成为值的加权和, 其中 𝑎 表示注意力评分函数。由于注意力权重是概率分布, 因此加权和其本质上是加权平均值。其中查询q和键ki 的注意力权重(标量)是通过注意力评分函数a将两个向量映射成标量,再经过softmax运算得到的:从上面公式看出选择不同的注意力评分函数a aa会导致不同的注意力汇聚操作,下面将介绍两个流行的评分函数:加性注意力评分函数 和 缩放点积注意力评分函数。原创 2023-11-24 16:56:50 · 967 阅读 · 1 评论 -
注意力机制Attention(一)-李沐动手学深度学习
非参数的Nadaraya-Watson核回归具有一致性(consistency)的优点:如果有足够的数据,此模型会收敛到最优结果。K是(核kernel)衡量x(查询)与xi(候选物)距离的函数,将距离归一化作为权重,表示xi的相对重要性。卷积、全连接、池化层基本只考虑非自主性提示,选择都偏向于感官输入,以池化为例:池化只考虑把窗口中最大的值抽取出来,只要是最大的值就行。自主性的与非自主性的注意力提示解释了人类的注意力的方式, 下面通过这两种注意力提示用神经网络来设计注意力机制的框架。转载 2023-11-24 10:26:01 · 381 阅读 · 1 评论