无监督学习之RBM和AutoEncoder

有标签的数据固然好,可是一方面打标签的代价太高,另一方面大部分数据是无标签的。这样就涉及到无监督、半监督、Self-taught学习的问题。本文将介绍两种适用于无标签数据的学习方法,可以找到数据中的隐含模式,包括`RBM`和`AutoEncoder`。

2017-04-19 16:13:56

阅读数:5525

评论数:1

从马尔科夫链到吉布斯采样与PageRank

马尔科夫链表示state的链式关系,下一个state只跟上一个state有关。 吉布斯采样通过采样条件概率分布得到的样本点,近似估计概率分布P(z)P(z)。PageRank通过节点间的连接,估计节点的重要程度rr。吉布斯采样中,state代表不同的样本点,state的分布就是P(z)P(z)。...

2017-04-14 15:02:58

阅读数:875

评论数:0

信息论中的各种熵

本文简单介绍了信息论中的各种熵,包括自信息、熵;联合熵、条件熵、互信息;KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归,得到了和最大似然法相同的结果。

2017-04-09 08:30:55

阅读数:1734

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭