Lec2 Multimedia Representation

【Basic Conversion Process】

基本转换过程
analogue multimedia data：比如麦克风的音频信号
经过 analogue to digital converter （ADC）
变成 digital multimedia data：WAV file，JPG file，MP4 file etc.

---

【Sampling】采样

采样表示使用离散的样本来表示连续的信号；

The example digital representation is called Pulse Code Modulation, for audio.
PCM：脉冲编码调制。是对连续变化的模拟信号进行抽样、量化和编码产生数字信号。

---

【Sampling for different multimedia】

Here are the basic rules of sampling apply to all types of digital multimedia.
Audio：因为音频是一维的数据，它是只随着时间变化的，所以跟着时间轴进行sampling即可；
Image：图像是二维的数据，它有X和Y轴，所以sampling的时候需要对X轴和Y轴同时取样；
Video：视频是三维的数据，它是由一维的audio和二维的image同时构成，因此sampling时候需要对XYZ同时取样。

---

【Basic Qualities】

对于大多数的多媒体而言，都有以下三个基本的质量指标：
1 Sample Rate：采样率；
2 Quantization：量化；
3 Compression：压缩。

---

【Sample Rate】采样率

采样率决定了表示一个数据所使用的样本数；
采样率的一些单位：
Audio：Hz；
Image：DPI(dots per inch/ for printing), PPI(pixels per inch/ for display), HD/Full HD/4K UHD(for resolution)；
Video：FPS(frames per second/for frame rate).

---

【使用不同采样率的例子】

Input audio signal如下图所示，是一个正弦波，1秒内有四个完整的波形，所以频率为4Hz。

以下的example中，红色表示取样点，最后一个图表示根据取样点重构后的波形。

（1）取样点很多时候：

当取样点很多的时候，通过重构样本点，是可以很接近原本的信号的。但是样本点太多，无论是取样还是存储，都是不优秀的。

（2）sample rate = 24 Hz：

采样率为24Hz，意味着在一秒内，有24个取样点。原先的信号为4Hz，也就是一秒内有4个完整波形，那么现在取样应该就是一个波形上获得6个样本点。然后根据获得的样本点用直线连接重构signal。
获得的重构signal和原来的信号还是有较多差别的，但是基本的形状没有变化，而且频率依旧是4Hz。频率是一个重要的基本要素。

（3）sample rate = 16 Hz；

4个波形上一共取16个sample，那么每个波形上有4个sample，并重构。
可以发现基本形状还是一致的(up & down)，同样重构得到的signal频率还是4Hz。

（4）sample rate = 9 Hz；

4个波形上一共取9个点，每个波形上取2.15个点。
可以看到重构出的形状已经很不好了。但是它的频率还是4Hz。

（5）sample rate = 8 Hz；

此时每个波形上正好有两个取样点。
可以看到重构出的形状和频率都已经丢失了。

这个图它同样是每个波形上取两个点。但是可以看到这个重构后的signal的频率还是4Hz。

（6）sample rate = 7 Hz；

此时每个波形上的取样点数量少于2。
重构的signal的频率为3Hz，不再是4Hz。

（7）sample rate = 6 Hz & 5 Hz；

可以看到，当每个波形上的取样点数目少于2个的时候，重构得到的信号的频率是小于原始信号的频率的。

---

【The Nyquist Frequency】 奈奎斯特频率

For the example signal, there must be more than 2 samples to guarantee the successful representation of a period.
If we express that using the sample rate, the signal frequency that can be successful stored will be any frequency smaller than half of the sample rate, ie:
sampleRate / 2
This value is called the Nyquist Frequency.
要保证重构的signal是具有和原先的signal同样的频率为f0的话，那么f0

【Quantization】量化

量化 = how many different levels each sample can have；
量化的levels越多，质量就越好。

（1）1 bit per sample

上面的图是原始的signal，用1个bit进行量化的话，那么便是>=0为+1，<0为-1。将原始的signal-量化的signal，得到最后的图，为误差图，图中深色部分的总面积就是此次量化的误差。可以看到，用1个Bit的时候误差还是比较大的。

（2）2 bits per sample

2 bits可以有四个level，量化的误差在减小。

（3）4 bits per sample

4 bits可以有16个level，量化的误差继续减少。

（4） for image

对于图片来说也是如此。将黑色-白色进行量化。量化的level越多，越精致。

---

【关于audio的量化问题】

Image和video一般都是使用正值的，但是表示audio的话，需要正值负值和0，0表示静音。
如果是Level是偶数个的话，那么就没办法表示0了。
而计算机是使用bits来表示sample的，所以量化的levels总是偶数(2^n)。所以我们需要减少一个正数的level，增加一个表示0的level。
所以表示的量化值的范围应该是 -2^(n-1) ~ 2^(n-1)-1。
一般使用2 bytes, 也就是2^16。

---

【量化的表示】

使用Two’s complement storage / 补码表示：
对于正数，其保持原样；对于负数，其表示为正数的翻转+1；
这样的话就可以实现：只有一个0的表示，且负数比正数多一个。