面试总结（一）

1.信息熵的计算公式

       

       其中X表示随机变量，随机变量的取值为（x1,x2,…,xn）,p(xi))表示事件xi发生的概率，且有∑p(xi)=1.信息熵的单位为bit。

2.香农公式：

注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。

3.PCA算法对于满足哪种样本分布的数据有效？

主成分分析(PrincipalComponentAnalysis,简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。主要用于对特征进行降维。

算法假设：数据的概率分布满足高斯分布或是指数型的概率分布。方差高的向量视为主元。