语义信息和机器学习
文章平均质量分 82
lcguang老鲁
研究语义信息论, 机器学习, 颜色视觉, 美感和进化.
个人网页:http://survivor99.com
展开
-
从语义信息论看正则化准则
正则化准则就是在误差准则后面加上正则化项——它反映模型标准差越小越好。这意思是你撒网盖住鱼了,但是覆盖面积越小越好。网盖住整个池塘,就等于没网。用Popper理论解释就是逻辑概率越小越好,因为检验更严厉。 永真句不提供信息。看到这篇文章: 从贝叶斯角...原创 2018-03-02 10:41:16 · 818 阅读 · 0 评论 -
为什么说已有EM算法理论是错的?
流行的EM算法收敛证明声称:Q和混合模型的似然度是正相关的,M-step最大Q, E-step不减Q, 所以重复M-step和E-step就能收敛。 但是我的研究发现,E-step可能减小Q, 而且在某些情况下, Q应该减小。一个反例如下图: 新的理论认为,E-step的作用是减小香农互信息-但是不够, 还需要调整混合比例,改进的M-step作用是增加语义互信息。不断最小化(香农互信息...原创 2018-11-11 17:21:42 · 178 阅读 · 0 评论