目录
- 谱特征
-
- 1. Spectral Centroid
- 2. Spectral Spread
- 3. Spectral Skewness
- 4. Spectral Kurtosis
- 5. Spectral Entropy
- 6. Spectral Flatness
- 7. Spectral Crest
- 8. Spectral Flux
- 9. Spectral Slope
- 10. Spectral Decrease
- 11. Spectral Rolloff
- 12. Spectral bandwidth
- 13. Spectral Energy相关
- 14. Spectral Novelty相关
- 15. Novelty Method 相关
- 最后
本文详细列举一些谱特征的公式定义,做业务的时候,再也不用为脑海里捉襟见肘的特征发愁了!!!
关于谱特征,其广泛的使用于机器学习和深度学习中,在乐器分类,音色分析,端点侦测,情绪识别,语音活动检测等等各种业务中都有大量的实践应用。
这些谱特征都是频域数据各个维度高度抽象、总结、量化的结果,为业务后续研发提供思维的燃料,脑海里有没有很重要,至于烧不烧、怎么烧是另外一回事,但前提是先备好这些"燃料",幸运的是,audioFlux项目提供下面所列谱特征几乎所有的支持,感兴趣的小伙伴后续可以用其做不同的测试以加深理解。
谱特征
b 1 , b 2 b_1 , b_2 b1,b2 为频带bin边界, f k f_k fk单位Hz, s k s_k sk为频谱值,可以 magnitud spectrum或power spectrum
1. Spectral Centroid
μ 1 = ∑ k = b 1 b 2 f k s k ∑ k = b 1 b 2 s k \mu_1=\frac{\sum_{ k=b_1 }^{b_2} f_ks_k } {\sum_{k=b_1}^{b_2} s_k } μ1=∑k=b1b2sk∑k=b1b2fksk
2. Spectral Spread
μ 2 = ∑ k = b 1 b 2 ( f k − μ 1 ) 2 s k ∑ k = b 1 b 2 s k \mu_2=\sqrt{\frac{\sum_{ k=b_1 }^{b_2} (f_k-\mu_1)^2 s_k } {\sum_{k=b_1}^{b_2} s_k } } μ2=∑k=b1b2sk∑k=b1b2(fk−μ1)2sk
3. Spectral Skewness
μ 3 = ∑ k = b 1 b 2 ( f k − μ 1 ) 3 s k ( μ 2 ) 3 ∑ k = b 1 b 2 s k \mu_3=\frac{\sum_{ k=b_1 }^{b_2} (f_k-\mu_1)^3 s_k } {(\mu_2)^3 \sum_{k=b_1}^{b_2} s_k } μ3=(μ2)3∑k=b1b2sk∑k=b1b2(fk−μ1)3sk
4. Spectral Kurtosis
μ 4 = ∑ k = b 1 b 2 ( f k − μ 1 ) 4 s k ( μ 2 ) 4 ∑ k = b 1 b 2 s k \mu_4=\frac{\sum_{ k=b_1 }^{b_2} (f_k-\mu_1)^4 s_k } {(\mu_2)^4 \sum_{k=b_1}^{b_2} s_k } μ4=(μ2)4∑k=b1b2sk∑k=b1b2(fk−μ1)4sk
5. Spectral Entropy
设
p k = s k ∑ k = b 1 b 2 s k p_k=\frac{s_k}{\sum_{k=b_1}^{b_2}s_k} pk=∑k=b1b2sksk
e n t r o p y 1 = − ∑ k = b 1 b 2 p k log ( p k ) log ( b 2 − b 1 ) entropy1= \frac{-\sum_{ k=b_1 }^{b_2} p_k \log(p_k)} {\log(b_2-b_1)} entropy1=log(b2−b1)−∑k=b1b2pklog(pk)
或
e n t r o p y 2 = − ∑ k = b 1 b 2 p k log ( p k ) entropy2= {-\sum_{ k=b_1 }^{b_2} p_k \log(p_k)} entropy2=−k=b1∑b2p