说明,记录数据挖掘的博客都来源于coursera的公开课,目的也是为了自己总结,这些PPT都是截取的重要的概率和步骤。如果读者感兴趣可以参考https://class.coursera.org/mmds-001/lecture
上面会有视频资料和一些讲义
一、数据挖掘
数据挖掘包括上面几个分支,而今天集中在应用在Web中横梁网页重要性的pageRank算法。
二、链接分析
链接分析有如下算法:
其中的PageRank首先有两种衡量链接重要性的公式, 流模式和矩阵模式
AX = 人x, x是特征向量eigenvector, 人是特征值eigenvalue. 所以r是M的特征向量。 并且Mr<=1,因为M的最大特征向量是1.
M也叫转移矩阵,所以他是一个随机矩阵(对于强连通图,某列的和是1),反之,如果某列的和最多是1,即可能是0的转移矩阵称为亚随机矩阵(substochastic)
三、随机分布和power iteration
如何得到最后收敛的重要性衡量值r??使用power iteration. 其定义如下
四、PageRank会出现的两个问题
由于我们想要的结果是最后r正常收敛并且收敛的值能够正确的衡量各个网页节点的重要性。
1.采集器陷阱, 出现的问题一是是不是会正常收敛??