Whisper

使后感

因为运用里需要考虑到时效和准确性，类似于YOLO，只考虑 tiny, base,和small 的模型。准确率基本反应了模型的大小，即越大的模型有越高的准确率

Paper Review

个人觉得有趣的

• 这里的feature不是直接的声音array，但log-mel spectrogram 也不是陌生的。mel 比 STFT更少的特征数量，也更接近人类感知，Mel 频谱通过在较低频率提供更多的分辨率，有助于减少背景噪音的影响。

• 整个结构也是很一目了然，喜闻乐见的transformer。 但是有限制： 16，000Hz的audio sample， 80 channels，25 millisseconds的窗口，移动距离为 10 milliseconds

• 为啥可以得到 时间轴对应的Txt, 这个得感谢decoding.py 里 “begin time” 和 “end time”

  <