- 博客(3)
- 收藏
- 关注
RSS订阅原创 来自语义信息论的多标签分类方法——有简单方法干嘛要用复杂的？
流行的多标签分类方法大多把多分类化为多个二分类。流行的有One-to-Rest方法和Binary Relevance方法。One-to-Rest方法的问题是， 围绕一个标签y1分类， 把一个没有y的例子当成y1的反例， 这时不对的。 比如两个例子（25岁， “年轻人”）和（24岁，“成年人”）都是对的。 设y1="年轻人"， 把24岁划到rest=非年轻人，就错了.Binary Relev...
2018-11-11 18:01:53
518
原创 为什么说已有EM算法理论是错的？
流行的EM算法收敛证明声称：Q和混合模型的似然度是正相关的，M-step最大Q， E-step不减Q， 所以重复M-step和E-step就能收敛。 但是我的研究发现，E-step可能减小Q， 而且在某些情况下， Q应该减小。一个反例如下图： 新的理论认为，E-step的作用是减小香农互信息-但是不够， 还需要调整混合比例，改进的M-step作用是增加语义互信息。不断最小化(香农互信息...
2018-11-11 17:21:42
163
原创 从语义信息论看正则化准则
正则化准则就是在误差准则后面加上正则化项——它反映模型标准差越小越好。这意思是你撒网盖住鱼了，但是覆盖面积越小越好。网盖住整个池塘，就等于没网。用Popper理论解释就是逻辑概率越小越好，因为检验更严厉。 永真句不提供信息。看到这篇文章： 从贝叶斯角...
2018-03-02 10:41:16
784
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人