熵:系统混乱程度的度量,系统越混乱,熵越大。
信息熵:信息量的大小的度量,用于描述随机变量的不确定度。事件的不确定性越大,则信息量越大,信息熵越大。定义如下:
条件熵:表示在已知随机变量X的条件下随机变量Y的不确定性。定义如下:
另外,,说明描述X和Y所需的信息(H(X,Y)
熵:系统混乱程度的度量,系统越混乱,熵越大。
信息熵:信息量的大小的度量,用于描述随机变量的不确定度。事件的不确定性越大,则信息量越大,信息熵越大。定义如下:
条件熵:表示在已知随机变量X的条件下随机变量Y的不确定性。定义如下:
另外,,说明描述X和Y所需的信息(H(X,Y)