Java版PageRank及网站收录情况查询代码

  
  在Google这个由10的100次方得名的站点中，各种评估网站的算法层出不穷，而PageRank即是其中之一。

  Google的PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。

  通常情况下讲，原创内容越多的站点，PageRank越容易提升，反之则相对比较困难，PageRank最大上限值为10。在Google的评估中，能上10的网站真可谓凤毛麟角，即使算上Google，能成就PageRank 10这“伟业”者，望眼环球也不足40家。一般来说，个人站点评估值4即办的不错，商业网站到6以上便算步入正轨了。

  网上虽然有不少现成的查询器及源码，但是光用别人的毕竟不符合程序员风格，所以今天自己用Java重造轮子又写了个PageRank查询实现，捎带着把一些常用搜索引擎的网站链接及反向链接查询也加上了。

  源码如下：

   GooglePageRank.java

1. package org.loon.test;
3. import java.io.IOException;
4. import java.util.Random;
5. import java.util.regex.Matcher;
6. import java.util.regex.Pattern;
8. /**
9.  * Copyright 2008
10.  * 
11.  * Licensed under the Apache License, Version 2.0 (the "License"); you may not
12.  * use this file except in compliance with the License. You may obtain a copy of
13.  * the License at
14.  * 
15.  * http://www.apache.org/licenses/LICENSE-2.0
16.  * 
17.  * Unless required by applicable law or agreed to in writing, software
18.  * distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
19.  * WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
20.  * License for the specific language governing permissions and limitations under
21.  * the License.
22.  * 
23.  * @project loonframework
24.  * @author chenpeng
25.  * @email：ceponline@yahoo.com.cn
26.  * @version 0.1
27.  */
28. public class GooglePageRank {
30.     // google pagerank服务器ip地址列表（最近google小气了很多，反复查询一个封ip）
31.     final static String[] GoogleServiceIP = new String[] { "64.233.161.100",
32.             "64.233.161.101", "64.233.183.91", "64.233.189.44", "66.102.1.103",
33.             "66.102.9.115", "66.249.89.83", "66.249.91.99", "66.249.93.190" };
35.     // google用识别标记
36.     final static private int GOOGLE_MAGIC = 0xE6359A60;
38.     // ch数值混合器
39.     private class CHMix {
41.         int a;
43.         int b;
45.         int c;
47.         public CHMix() {
48.             this(0, 0, 0);
49.         }
51.         public CHMix(int a, int b, int c) {
52.             this.a = a;
53.             this.b = b;
54.             this.c = c;
55.         }
56.     }
58.     /**
59.      * 按google要求混合成ch数据
60.      * 
61.      * @param mix
62.      */
63.     private static void mix(final CHMix mix) {
64.         mix.a -= mix.b;
65.         mix.a -= mix.c;
66.         mix.a ^= mix.c >> 13;
67.         mix.b -= mix.c;
68.         mix.b -= mix.a;
69.         mix.b ^= mix.a << 8;
70.         mix.c -= mix.a;
71.         mix.c -= mix.b;
72.         mix.c ^= mix.b >> 13;
73.         mix.a -= mix.b;
74.         mix.a -= mix.c;
75.         mix.a ^= mix.c >> 12;
76.         mix.b -= mix.c;
77.         mix.b -= mix.a;
78.         mix.b ^= mix.a << 16;
79.         mix.c -= mix.a;
80.         mix.c -= mix.b;
81.         mix.c ^= mix.b >> 5;
82.         mix.a -= mix.b;
83.         mix.a -= mix.c;
84.         mix.a ^= mix.c >> 3;
85.         mix.b -= mix.c;
86.         mix.b -= mix.a;
87.         mix.b ^= mix.a << 10;
88.         mix.c -= mix.a;
89.         mix.c -= mix.b;
90.         mix.c ^= mix.b >> 15;
91.     }
93.     /**
94.      * 获得ch数值混合器
95.      * 
96.      * @return
97.      */
98.     public static CHMix getInnerCHMix() {
99.         return new GooglePageRank().new CHMix();
100.     }
102.     /**
103.      * 通过url获得googlech(google数据库针对页面的全球唯一标识)
104.      * 
105.      * @param url
106.      * @return
107.      */
108.     public static String GoogleCH(final String url) {
109.         // 格式化为google要求的info:url模式
110.         String nUrl = String.format("info:%s", new Object[] { url });
111.         // 获得新url字符串格式
112.         char[] urls = nUrl.toCharArray();
113.         // 获得新url长度
114.         int length = urls.length;
116.         // 获得一个ch数值混合器
117.         CHMix chMix = GooglePageRank.getInnerCHMix();
118.         // 为c注入google识别标识
119.         chMix.c = GOOGLE_MAGIC;
121.         // 为a、b项注入google要求的初始标识
122.         chMix.a = chMix.b = 0x9E3779B9;
124.         int k = 0;
126.         int len = length;
128.         while (len >= 12) {
130.             chMix.a += (int) (urls[k + 0] + (urls[k + 1] << 8)
131.                     + (urls[k + 2] << 16) + (urls[k + 3] << 24));
132.             chMix.b += (int) (urls[k + 4] + (urls[k + 5] << 8)
133.                     + (urls[k + 6] << 16) + (urls[k + 7] << 24));
134.             chMix.c += (int) (urls[k + 8] + (urls[k + 9] << 8)
135.                     + (urls[k + 10] << 16) + (urls[k + 11] << 24));
136.             // 获得混合运算后的数据
137.             GooglePageRank.mix(chMix);
138.             k += 12;
139.             len -= 12;
140.         }
141.         chMix.c += length;
143.         // 产生googlech的11位标识
144.         switch (len) {
145.         case 11:
146.             chMix.c += (int) (urls[k + 10] << 24);
147.         case 10:
148.             chMix.c += (int) (urls[k + 9] <<