信息论
文章平均质量分 84
lankuohsing
自动化研究生
展开
-
机器学习之特征选择(更新中)
文章目录1. 基于信息增益的方法1.1. 信息熵1.2. 条件熵1.3. 信息增益1.4. 信息增益在分类问题中的作用1. 基于信息增益的方法1.1. 信息熵假设XXX是取有限个值{x1,x2,⋯ ,xn}\{x_1,x_2,\cdots,x_n\}{x1,x2,⋯,xn}的随机变量,其概率分布为P(X=xi)=pi,i=1,2,n(1-1)P(X=x_i)=p_i, i=1,2,n\tag{1-1}P(X=xi)=pi,i=1,2,n(1-1)则速记变量XXX的熵定义为:H(X.原创 2021-08-06 22:43:45 · 438 阅读 · 0 评论 -
通俗理解信息熵
文章目录1. 信息熵的概念2. 信息熵和信息量之间的关系https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)https://www.zhihu.com/question/274997106https://www.zhihu.com/question/274997106/answer/1055696026https://cs.nyu.edu/~roweis/csc310-2005/lectures.html1. .原创 2021-07-28 23:18:52 · 3476 阅读 · 0 评论 -
霍夫曼树-原理、代码实现与应用
文章目录0. 从霍夫曼编码讲起1. 二叉树一些基本概念1.1. 路径1.2. 路径长度1.3. 节点的权1.4. 节点的带权路径长度1.5. 树的带权路径长度2. Huffman树的构建3. 代码实现(python)4. 应用https://blog.csdn.net/google19890102/article/details/54848262https://zh.wikipedia.org/wiki/%E9%9C%8D%E5%A4%AB%E6%9B%BC%E7%BC%96%E7%A0%810. .原创 2021-05-10 23:39:17 · 671 阅读 · 0 评论