随着某音,某拍小视频的流行,视频中的物理要素变得尤为重要,通过提起视频中的物理要素,判断视频对人们情绪的刺激,将是未来一个重要的话题。
视频中的重要信息包括图片和声音。
图片又可以从每帧的RGB,HSV,Lab得到特征值。
声音有很多方式的提取,这里列举三种。1.将声音转为数据信息,将数据信息通过FFT分析,提取每秒的frequency和power。
2.使用MFCC中提取的12个倒波系数作为特征值。3.将每帧数据先进行SFTF的变换为RGB图片。从RGB图片中提取R,G,B三个变量作为声音的amplitude。
个人认为第三种方法更容易理解,但是第三种方法在数据处理过程中比较耗时间。
欢迎大家提更多宝贵意见