[论文阅读]——计算约束下的可用信息理论

发表在ICLR 2020会议上的文章，似乎是关于信息熵的预测方向。

本文提出了预测性V信息熵及其推理框架。

先解释一下回归预测模型中常用的评估指标R²：

R²表示回归平方和与总离差平方和的比值，这一比值越大，表示总离差平方和中可以由回归平方和解释的比例越大，模型越精确，回归效果越显著。R²∈[0~1]，越接近1，回归拟合效果越好，一般认为超过0.8的模型拟合优度比较高。
          众所周知，R2，反应了回归方程对y的解释能力。但是，因为在多元线性回归方程中，自变量个数的增加，会引起余差平方和的减少，从而使R2增大；因此，尽管有的自变量与y线性关系不显著，将其引入方程后，也会使R2增大。也就是说，R2本身还受自变量个数的影响。所以，在它基础上，又派生出一个指标——调整确定系数R2*。

再解释一下信息论中和传播相关的不等式，比较令人印象深刻的是描述“话越传越离谱”的数据处理不等式（Data Processing Inequality）：定义马尔科夫过程 X→Y→Z ，则 I(X;Y)≥I(X;Z) 。