1.信息熵的计算公式
其中X表示随机变量,随机变量的取值为(x1,x2,…,xn),p(xi))表示事件xi发生的概率,且有∑p(xi)=1.信息熵的单位为bit。
2.香农公式:
注:B为信道带宽;S/N为信噪比,通常用分贝(dB)表示。
3.PCA算法对于满足哪种样本分布的数据有效?
主成分分析(PrincipalComponentAnalysis,简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。主要用于对特征进行降维。
算法假设:数据的概率分布满足高斯分布或是指数型的概率分布。方差高的向量视为主元。