- 博客(3)
- 收藏
- 关注
原创 来自语义信息论的多标签分类方法——有简单方法干嘛要用复杂的?
流行的多标签分类方法大多把多分类化为多个二分类。流行的有One-to-Rest方法和Binary Relevance方法。 One-to-Rest方法的问题是, 围绕一个标签y1分类, 把一个没有y的例子当成y1的反例, 这时不对的。 比如两个例子(25岁, “年轻人”)和(24岁,“成年人”)都是对的。 设y1="年轻人", 把24岁划到rest=非年轻人,就错了. Binary Relev...
2018-11-11 18:01:53 528
原创 为什么说已有EM算法理论是错的?
流行的EM算法收敛证明声称:Q和混合模型的似然度是正相关的,M-step最大Q, E-step不减Q, 所以重复M-step和E-step就能收敛。 但是我的研究发现,E-step可能减小Q, 而且在某些情况下, Q应该减小。一个反例如下图: 新的理论认为,E-step的作用是减小香农互信息-但是不够, 还需要调整混合比例,改进的M-step作用是增加语义互信息。不断最小化(香农互信息...
2018-11-11 17:21:42 174
原创 从语义信息论看正则化准则
正则化准则就是在误差准则后面加上正则化项——它反映模型标准差越小越好。这意思是你撒网盖住鱼了,但是覆盖面积越小越好。网盖住整个池塘,就等于没网。用Popper理论解释就是逻辑概率越小越好,因为检验更严厉。 永真句不提供信息。看到这篇文章: 从贝叶斯角...
2018-03-02 10:41:16 811
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人