大数据:链接分析

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/chenglinhust/article/details/8605501
大数据:链接分析

下面是我看《大数据—互联网大规模数据挖掘与分布式处理》一书第五章的总结。

1 词项作弊:在web网页中估计引入那些与网页页面无关的用于误导搜索引擎的词项。

2 对付词项作弊:Pagerank 。相信其他网页对当前网页的评价。

3 Pagerank:是递归方程“重要网页指向的网页也重要”的解。

4 Web的转移矩阵:一个或者多个链接从j指向i,那么第i行第j列元素值为1/k

5 强连通图pagerank计算:对强连通图,pagerank是转移矩阵的主特征向量。pagerank可从任意非零向量开始,反复用转移矩阵乘以当前向量,迭代约50次,估计出pagerank值。

6 随机冲浪模型:冲浪者从任意界面开始,每下一步随机访问当前页面所连接的页面。冲浪者在给定网页上停留的页面的极限概率就是网页的pagerank值。

7 终止点:没有出链的Web网页。

8 采集器陷阱:一系列节点,可能相互连接,但是不会连接集合外的点。

9 抽税机制:抑制采集器陷阱效果。成分分解加上分量。

10 转移矩阵高效表示:稀疏矩阵中提取非零元素表示。

11 极大规模矩阵向量乘法:web网络图结构,矩阵分块K*k方块,向量分k段。

12 面向主题的pagerank:查询用户对某个主题感兴趣,而对其主题相关的网页赋予更高pagerank。

13 链接垃圾 垃圾农场包括目标网页,支持网页,目标网页指向所有支持网页, 支持网页只指向目标网页。

14 TrustRank:抑制链接作弊算法,面向主题的pagerank。其中的远程跳转集合由一些可信的网页组成。

15 垃圾质量:trustrank值较pagerank值小很多的网页是垃圾农场的一部分。

16 导航页和权威页:HITS 权威页是包含价值信息的网页,导航页是包含指向价值信息的网页。HITS递归算法“导航页会指向很多权威页,权威页被很多导航页指向”。不需引入抽税机制。 


展开阅读全文

没有更多推荐了,返回首页