![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
扩展知识
文章平均质量分 84
时间序列遇到的问题
幼儿园大哥~
笑口常开,好彩自然来
展开
-
多层感知机(Multilayer Perceptron, MLP)
多层感知机通过多层全连接网络和非线性激活函数实现对复杂数据模式的学习和建模。其工作原理包括前向传播、损失函数计算、反向传播和参数更新。MLP在许多应用中表现出色,是深度学习的基础模型之一。原创 2024-07-02 16:18:39 · 282 阅读 · 0 评论 -
Frobenius 范数
Frobenius范数在许多领域都有应用,包括数值分析、统计学和机器学习等,特别是在衡量矩阵的大小和比较不同矩阵的差异时非常有用。Frobenius范数是一种用于衡量矩阵大小的标准方法。具体来说,Frobenius范数。中所有元素的平方和再开方得到的。原创 2024-06-28 14:59:01 · 590 阅读 · 0 评论 -
KL散度(Kullback-Leibler divergence)
散度用于量化使用一个概率分布来近似另一个概率分布时损失的信息量。散度是基于信息论的概念,而信息的传递方向是有区别的。散度不是真正的距离度量,而是一种相对信息的度量。L散度不满足三角不等式,即。散度始终大于等于零,即。与凸函数的关系:如果。原创 2024-06-16 10:45:52 · 1135 阅读 · 0 评论 -
基于Kullback-Leibler散度(KL散度)的稀疏性度量
散度越大,表示注意力权重分布与基准分布之间的差异越大,从而可能暗示查询的某些部分被赋予了更高的重要性(即更不稀疏),而其他部分则被忽略了。反之,如果查询的点积分布较为均匀,那么。项会远大于算术平均项,从而导致稀疏性度量。通过将上面两个作差,可以使得当一个查询。具有显著较大的点积时,原创 2024-06-16 16:18:12 · 540 阅读 · 0 评论 -
鲁棒性(Robustness)
鲁棒性是系统或算法在面临异常情况、参数摄动、错误输入等不利因素时,仍然能够保持其正常功能、性能或稳定性的能力。简单来说,鲁棒性就是系统或算法“健壮”和“强壮”的程度。原创 2024-06-10 19:27:34 · 407 阅读 · 0 评论 -
深度学习之forward
forwardforwardpropagationforwardforwardforwardforwardforwardReLUSigmoidTanhforwardforward。原创 2024-06-17 11:06:13 · 486 阅读 · 0 评论 -
移动平均法
12nnnw11w22wnn(w1w2...wn)winw1w2...wn1n。原创 2024-06-21 11:11:55 · 822 阅读 · 0 评论 -
时间序列评价指标
MSE。原创 2024-06-11 09:05:36 · 862 阅读 · 0 评论 -
层归一化和残差连接
层归一化和残差连接是深度学习中两种相辅相成的技术。层归一化通过稳定训练过程和提高收敛速度来改善模型的性能,而残差连接则通过缓解梯度消失问题和加速训练来进一步提升模型的性能。在深度网络架构中,这两种技术经常被结合使用,以构建更加高效和稳定的模型。原创 2024-06-17 15:23:35 · 1039 阅读 · 0 评论 -
梯度计算(Gradient calculation)
梯度下降(GradientDescentGradientDescent)是一种优化算法,用于寻找最小化损失函数(或成本函数)的参数值。它的工作原理是,通过计算损失函数关于模型参数的梯度,然后沿着梯度的反方向(即最陡峭的下降方向)更新参数。这样,每次迭代都会使损失函数值减小(至少在局部上是这样的),从而逐渐接近损失函数的最小值。在深度学习中,梯度尤其重要,因为我们通常使用梯度下降算法来更新神经网络的参数。原创 2024-06-14 10:40:17 · 487 阅读 · 0 评论 -
长尾分布(Long-tailed Distribution)
长尾分布是重尾分布的一个子类型,其特点是分布的尾部较长,即存在大量的极端值。这些极端值在分布中的出现概率较低,但它们的存在对整体分布的特性有显著影响。长尾分布是统计学和概率论中的一个重要概念,用于描述一组数据中尾部包含较多极端值的情况。它具有慢衰减、幂律分布等特点,并在经济学、互联网、信息检索和推荐系统等领域得到广泛应用。在互联网时代,长尾分布现象更加普遍,对商业策略、市场分析和产品设计等方面产生了深远影响。原创 2024-06-23 15:42:34 · 389 阅读 · 0 评论 -
激活函数(Activation Function)
引入非线性因素:执行数据归一化:改变数据的线性关系:增强网络能力:SigmoidSigmoidSigmoid函数:公式:(f(x)=11+e−x)(f(x) = \frac{1}{1 + e^{-x}})(f(x)=1+e−x1)特点:输出范围在[0,1][0, 1][0,1]之间,适用于作为预测概率输出。梯度平滑,避免跳跃的输出值,函数可微。缺点:在深度神经网络中梯度反向传递时,可能导致梯度消失,因为sigmoidsigmoidsigmoid函数的导数取值范围在[0,0.25][0, 0.2原创 2024-06-15 21:00:07 · 764 阅读 · 0 评论 -
消融实验(Ablation Study)
消融实验是一种通过逐步删除或修改系统的特定部分,来观察这些变化如何影响系统的功能、性能或行为的实验设计。在深度学习领域,消融实验常用于评估模型的鲁棒性、稳定性和性能。原创 2024-06-10 21:17:43 · 342 阅读 · 0 评论 -
损失函数(Loss Function)
损失函数或代价函数是将随机事件或其相关随机变量的取值映射为非负实数的函数,以表示该随机事件的“风险”或“损失”。在机器学习中,损失函数通常用于优化算法,通过改变模型参数来最小化损失函数,从而达到最优化的效果。损失函数是机器学习中的核心概念,通过选择合适的损失函数并最小化其值,可以提高模型的预测性能和准确性。在实际应用中,需要根据问题类型、模型特性和数据特性等因素来综合考虑选择何种损失函数。原创 2024-06-10 20:48:53 · 744 阅读 · 0 评论 -
快速傅里叶变换复杂度
快速傅里叶变换(FFT, Fast Fourier Transform)的复杂度之所以是Onlogn,是因为FFT算法通过分治法高效地计算离散傅里叶变换(DFT, Discrete Fourier Transform),而DFT的直接计算复杂度为On2。下面详细解释为什么FFT能够将复杂度降低到Onlogn。原创 2024-07-01 10:01:40 · 720 阅读 · 0 评论 -
矩阵的核范数(Nuclear Norm)
矩阵的核范数(Nuclear Norm)是一种用于衡量矩阵大小的标准,它特别关注矩阵的奇异值。具体来说,核范数是矩阵所有奇异值的和。奇异值是通过奇异值分解(SVD)得到的,它们是矩阵的非负特征值。核范数在许多应用中都非常有用,例如在矩阵完成问题和低秩矩阵近似中,核范数常用作正则化项,以鼓励解的低秩性质。的奇异值的个数,取决于。原创 2024-06-28 15:06:09 · 558 阅读 · 0 评论 -
谱范数(Spectral Norm)
谱范数∥M∥2∥M∥2定义为矩阵M\mathbf{M}M作用在单位向量上时的最大放大因子。具体来说,谱范数是M\mathbf{M}M的最大奇异值σmaxMσmaxM∥M∥2σmaxM∥M∥2σmaxM。原创 2024-06-28 15:19:24 · 700 阅读 · 0 评论 -
频域自相关计算中,使用乘积而不是卷积操作的原因
在频域自相关计算中使用乘积而不是点积,主要是基于傅里叶变换的卷积定理和计算效率的考虑。通过在频域中进行乘积操作,可以高效地实现自相关计算,显著降低计算复杂度,使其更适用于处理长时间序列数据。原创 2024-07-01 09:43:13 · 786 阅读 · 0 评论 -
Z变换详细介绍
离散时间信号xnx[n]xnXz∑n−∞∞xn⋅z−nXzn−∞∑∞xn⋅z−n其中,zzz是一个复数,zrejωzrejωrrr是幅度,ω\omegaω是相角。原创 2024-06-29 18:11:09 · 962 阅读 · 0 评论 -
拉普拉斯变换(Laplace Transform)
拉普拉斯变换(Laplace Transform)是一种积分变换,用于将时间域(通常是连续时间)的信号转换到复频域,以便简化对系统的分析和设计。它在控制系统、信号处理、电路分析等领域广泛应用。FsLft∫0∞fte−stdtFsLft)}∫0∞fte−stdt其中,ftf(t)ft是时间域信号,FsF(s)Fs是复频域信号,sss是复数变量,sσjωsσjω。原创 2024-06-29 18:16:40 · 777 阅读 · 0 评论 -
半正定矩阵
一个对称矩阵M\mathbf{M}M被称为半正定矩阵,如果对于所有的非零向量x\mathbf{x}xx⊤Mx≥0x⊤Mx≥0。原创 2024-06-28 15:32:49 · 528 阅读 · 0 评论 -
时间序列季节性和周期性
周期性是指时间序列数据中由于经济、政治或其他因素,在较长时间间隔内(如几年或几十年)重复出现的波动或循环。这些波动没有固定的周期长度,且通常持续时间比季节性波动要长。原创 2024-07-01 09:03:14 · 314 阅读 · 0 评论 -
快速傅里叶变换(Fast Fourier Transform,FFT)
快速傅里叶变换(Fast Fourier Transform,FFT)是一种算法,用于快速计算离散傅里叶变换(DFT)及其逆变换。傅里叶变换将时间或空间域的信号转换为频率域的信号,便于分析信号的频率特性。FFT显著提高了计算效率,将计算复杂度从On2降低到Onlogn。原创 2024-06-29 17:47:30 · 1076 阅读 · 0 评论 -
时域自相关计算中,使用卷积而不是点积操作的原因
自相关是一个信号与其自身在不同时间延迟(Lag)下的相关性度量。对于离散时间序列xtx(t)xt,其自相关函数RxτR_x(\tau)RxτRxτ∑txtxtτRxτt∑xtxtτ其中τ\tauτ是时间延迟,表示信号与其自身在不同延迟下的相关性。点积:用于测量两个信号在同一时间点上的相似性,但不涉及时移和翻转,无法捕捉时间序列中的延迟依赖关系。卷积。原创 2024-07-01 09:51:46 · 914 阅读 · 0 评论 -
相干性测度(Mutual Coherence)
假设我们有一个矩阵A∈Rm×nA∈Rm×n,它的列向量用a1a2ana1a2an表示。相干性测度μA\mu(A)μAμAmax1≤i≠j≤n∣aiTaj∣∥ai∥2∥aj∥2μA1≤ij≤nmax∥ai∥2∥aj∥2∣aiTaj∣aiai和ajaj分别是矩阵AAA的第ii。原创 2024-07-01 15:35:02 · 547 阅读 · 0 评论 -
小波变换(Wavelet Transform)
小波变换是一种强大的信号处理工具,能够同时提供时间和频率信息,适用于分析非平稳信号。其时频局部化和多分辨率分析特性使得它在信号处理、时间序列分析和图像处理等领域具有广泛的应用。在长时间序列预测任务中,小波变换能够有效捕捉时间序列的局部变化特征,提高预测的准确性和鲁棒性。原创 2024-07-01 15:39:52 · 793 阅读 · 0 评论 -
矩阵的奇异值(Singular Values)
矩阵的奇异值(Singular Values)是奇异值分解(SVD)过程中得到的一组重要特征值。它们在许多应用中非常重要,如信号处理、数据压缩和统计学等。原创 2024-06-28 15:10:06 · 623 阅读 · 0 评论 -
频域自相关和自注意力机制区别
注意力机制:通过计算所有元素之间的两两点积来捕捉依赖关系,具有较高的计算复杂度,但在捕捉复杂依赖关系方面非常强大和灵活。频域自相关计算:通过快速傅里叶变换在频域中进行自相关计算,具有较低的计算复杂度,特别适合处理长时间序列数据中的周期性和趋势。这两种方法各有优缺点,根据具体应用场景和数据特点选择合适的方法,可以显著提升模型的性能和效率。原创 2024-07-01 09:40:35 · 493 阅读 · 0 评论