信息处理与学习笔记一

信息处理与学习

本笔记整理信息理论、信号处理、机器学习等领域的问题。参考自CMU的课程Information processing and Learning.

1.关于该课程的内容

本课程主要关注的是信息理论、信号处理和机器学习的内容，以及他们之间的联系。

• 信号与数据有很多的交集
• 信号处理和汲取学习都是关于如何从信号和数据中提取有用的信息。
• 在EE领域中信号与数据有所不同。(1)信号经常有时间方面(temporal aspect)的因素 (2)他们经常是设计出来的 (3)他们经常通过一个介质(medium)传播(transmit)，这个介质称为信道(channel)

信息理论主要研究两个主要问题。

1. 信号或数据中存储了多少信息(“information”)

例如，考虑数据压缩(data compression/source coding)的问题。

最少需要多少比特描述Source的输出(message)，并且保留所有的信息，使得receiver可以通过这些比特，以很小的误差恢复这些信息
(receiver can reconstruct the source message with arbitrarily low probability of error?)
2. 在一个有噪音的信道上有多少信息可以可靠传输

例如，考虑数据传输(data transmission/channel coding)问题

要可靠的在有噪声的信道中传输，每个信道需要的最大比特数是多少。
衡量可靠同样是靠receiver可以以很小的误差恢复这些信息。

接下来，将信息论与机器学习联系起来。

1. Machine Learning 中的Source coding问题。在ML中，Source 必须是一个模型(比如$p(X_1,X_2,...X_n)$.这个模型生成数据点$X_1,X_2,...X_n$.编码这些数据需要的最小数量的比特表现了source代表的模型的复杂度。所以。source coding可以被用来选择一个找简单的具有描述性的模型（奥卡姆剃刀）
2. Machine Learning 中的Channel coding 问题。channel指定了一个概率分布$p(y|x)$,$x$是信道的输入，$y$是信道的输出。举例说明，我们可以将回归模型$y_i=m(x_i)+ϵ$看成有噪音信道的输出，这个信道将$m(x_i)$当作输入。类似的，在密度估计方面，$x$可以看成参数，$y$是一个根据$p(y|x)$生成的样本。

2.随机试验结果的信息量(information content)

我们经常用bit指定信息内容。bit定义为非0即1的值。我们可以认为它是一个yes/no问题的输出。信息量就可以理解为，为了了解随机试验的结果，最少需要多少个yes/no问题。

1. 从0-63中等概率随机抽取一个数，最少需要多少个yes/no问题来确定这个数？ 答案： $lo{g}_2(64)=6bit$。香农信息量(Shannon Information Content) $lo{g}_2(\frac{1}{p})$
2. 在8*8的格子里，有一艘敌舰，敌舰出现的位置是等概率随机的。我们无法判断敌舰的位置，但是可以用导弹攻击某一格子。这样，我们可以算出，第一发导弹击中递减的信息增益(information gain)是$lo{g}_2(\frac{1}{64})=6bit$。但是这是一个小概率事件 ，如果没有击中，信息增益将是$lo{g}_2(\frac{1}{\frac{63}{64}})=0.0227bit$.如果发射32次导弹都没有击中，信息增益和才会达到$1bit$.如果在此基础上在发射导弹，击中的信息增益将是$lo{g}_2(\frac{1}{32})=5bit$。可以得到，不管我们何时击中，击中时信息增益的总和都是$6bit$。
3. 我们的问题可能允许多于两个问题。比如我们要区分看上去一样但是质量不同的球，