听觉与音频信号处理常识

100HZ-4KHZ 窄带
4KHZ-14KHZ 超宽带
20H-20KHZ可听声
电磁波与声波的区别：电磁波在真空中，不需要介质传播
偏红光，偏紫光（紫光成分多，红光成分少）
采样离散化
采样频率：1s钟采集fs个点，采样频率越小越密集。与器件，电路有关系，与AD转换器有关。
信号的最高频率，与信号，声音信号、可见光信号的频率有关。
采样频率>=2倍的信号最高频率。
正弦函数一个周期至少采样2个点。
功率谱：功率沿着频率的分布。
动态范围：最小信号功率-最大信号功率。小喇叭与大喇叭。人的说话30db-90db(1m)。
0db(1KHZ参考1m标准)：恰好被人耳听到。1khz人的耳朵间距两倍。
120db:蒸汽飞机，声音超过这个值就可能听力损坏。
听阈、痛阈、闻阈。
信噪比：信号与噪声之比。
语音学：音标
语言学：语法规则
韵律：押韵
节奏：节拍、速度
声速：340m/s，与介质有关
光速：30万公里
时域：->频域（傅里叶变换FFT）描述声音的一种方式
频域：->时域（逆傅里叶变换）
空域：xy
声音是介质的振动，在空间上一个点的振动记录下来是一个时间的函数，记录每个时间振动的位置，记录振动位移的大小，记录机械波压力压强大小。
波束形成：麦克风信号标准化，线是麦克风朝外的正面，加起来读数y(t)=x1(t)+x2(t)+x3(t)----y=x1+x2+x3（空域滤波，空间不同位置的计算）
时域是卷积，频域是乘积。
基频+调制（放大共振峰）<->声带+口形=声普
气流噪音谱，声带不振动：轻音，没有基因频率，没有声带振动，但是有共振峰，供气流出去。

激励源
声门
声道 声纹 声纹识别
滤波
min e(|x^{(n+1)-x(n+1)|}2)
全极点：分母有根，分子无根。
infinite response IIR:en->Hz->sn
逆滤波:sn->Gz->en
hz可得共振峰 vocal tract filter
en可得激励源
sn是观测值
sn^是预测值
Sz=HzEz

去相关 有色图像变成白色图像，前后有关联
对一个信号进行线性预测

绿色的线是频谱
通过滤波器：蓝色的线是LPC
全极点滤波器的模型只有极点，没有零点，因为如果有零点逆滤波器分母为0。
实际上极点代表使分母为0的点，拉大，瞄准在峰值上对的很准。
零点拉小

pitch period 基因周期
基频估计、跟踪

卫星成像，云层卷积感扰

MFCC 声道特点，不是激励源 反应信道的bother信息。？

BMP：位图 0~255 rgb3个字节表示1个像素，1024x1024
jpg:jpag 压缩 将看不清的东西去掉。有损压缩，压缩解压后与原图不同。A(x,y)–2DCT–>
低频部分、高频部分、水平部分、垂直部分；一些地方置0，一些地方变换处理变化成一个低频道的。
rm\flv\mpg

无损压缩：压缩解压后与原图一样。
对称：压缩时间和解压时间差不多，就是可以一边压缩边解压，比如直播。
非对称：压缩时间远大于解压时间，比如录像。

语音：发声模型
音频：听觉模型
采样：才多少个点
量化：1个点用多少个比特
编码：加密

波形编码：
PCM：采样等于采样变换，存下来。
时域变量化步长：一阶线性变换，编码误差信号，也可用对数方法压缩。
参数编码：语音独有的
导谱

bps:bit per second
lpc-10:8KHZ采样，8bit量化
0.000000125s一个 -----6.4kbps

多通道编码：很多个麦克风

特定人/非特定人
孤立词/连接

音素串：
概率统计模型->神经网络
音素|与语言种类无关
单音素模型，双音素模型、三音素模型
一个音素一个模型–>深度学习|1个模型，所有因素统一建模，联合建模

HMM hiden markble model
GMM 高斯分布 有均值方差协方差矩阵高斯权重
混合高斯分布
贝叶斯分布 标注 训练集

声音：纵波
压力是矢量、压强是标量
声波随时间密度变化，压强变化，振膜变化

驻波只在一个固定位置振动，不传播，比如一根固定的琴弦或者皮筋。
房间声场不均匀有些地方声音大有些声音小。房间规则：比如还未装修的房子驻波现象。
房间反射要少，反射要乱，多装饰。

db 分贝 声音振动能量 声压变化 人耳听阈20*10-6Pa/20uPa~10Pa (50万倍)
声压级sound pressure level /spl sl
绝对声压P/1khz恰好被人听到的P0
Lp=20lg(P/P0)

P0压强，I0 w/m^2 ， 功率与压强的单位是平方关系

90db 90db 两个音箱同时发声，
x1=Asin(wt)
x2=Asin(wt)

大的声源 空间 能量反射 稳定之后测量 衰减60db T60
实际测量是T20
混响时间与距离无关