信息论笔记

$$\DeclareMathOperator*{\argmax}{arg\,max}$$

与机器学习相关的信息论概念

基本概念

信息量(自信息)

$$I(p)=-log_{b}(p)$$
当b=2,熵的单位是bit;b=e,熵的单位是nat;b=10,熵的单位是hart
$p=1,I(p)=0$
$p\to0 , I(p)\to\infty$
$p=1/2, I(p) = 1$

熵

$$H(X)=E_{X}[I(X)]=E_{X}[-log_{b}(X)]$$
个人理解:X可以是连续或者离散,反正就是积分

交叉熵

$$H(p,q)=E_{p}[-log(q)]=H(p)+D_{kl}(p||q)$$
第二步骤的推导:
$$E_{p}[-log(q)]=E_p[-log(p) + log(p) -log(q)] = E_p[-log(p)] +E_{p}log\frac{p}{q}=H(p)+ D_{KL}(p||q)$$
如果p和q分布相同,那么交叉熵为0, $H(p,q)=H(p)$
不可交换
$$H(p,q) \neq H(q,p)$$

相对熵/KL距离/KL散度

$$D_{KL}(p||q)=E_{p}log\frac{p}{q}$$

交叉熵损失

对于0/1分类,加入label是$p_1$概率,而不是0/1交叉熵损失,那么可以推导:

$$E_{p}[-log(q)] = -p_{0}log(q_0)-p_{1}log(q_1)$$
同样可以推广到多元分布:

逻辑回归的优化

逻辑回归,可以很自然地通过极大似然估计来优化,推导如下
需要说明的是,注意,实验样本集合并不是二项实验,因为每次${X_i}$不同,所以对于每个样本,有一个自己的二项分布${P_i}$.

$$y_i\in{\{0,1\}}$$
每个样本的似然函数是:
$$P_w(y_i|X_i)=\sigma_w(X)^{y_i} [1-\sigma_w(X)]^{1-y_i}$$
注意,不能这样展开
$$P_w(y_i|X_i)=y_i\sigma_w(X)+(1-y_i)[1-\sigma_w(X)]=y_i\sigma_w(X)+(1-y_i)\sigma_w(-X)$$
训练样本集合的似然函数是:
$$L(w)=log[\prod_i[P_w(y_i|X_i)]] = \sum_{i}log[P_w(y_i|X_i)] = \sum_{i}[y_{i}log\sigma_w(X_i)+(1-y_{i})log[\sigma_w(-X_i)]$$
极大似然估计:
$$w_{ML}=\argmax_{w}L(w)$$