抓取百度搜索结果——解密百度狗

网上有很多类似“百度狗” 的元搜索引擎，他们抓取百度和google的搜索结果，然后合并在一个网页里。

且不说这样做有什么意义，但是这的确是一件好玩的事，自己想了一下原理，写了这样一个类，可以抓取百度里的搜索结果。

原理很简单：

1. 通过搜索关键和页码字进入百度，例如“http://www.baidu.com/s?wd=搜索关键字&pn=页码（这里的页码计算公式是：10*（页码-1））
2. 找到真正有用的那一行，把信息读出来，
3. 按照每一个项的特点把他们切开，例如URL前面都有“class=f”……
4. 然后存起来

下面是代码：

 

package  org.qisou;

import  java.io. * ;
import  java.net. * ;
/**/ /*
 * 这是一个获取百度的类，它可以用一个搜索关键字来初始化，然后将抓取的结果存到SearchItem的对象数组里
 */
public   class  CatchBaidu  ... {

    /** *//**
     * @param args
     * strKey: 搜索关键字
     */
    private String strKey;
    private String[] info;
    private String source;
    private SearchItem[] ItemList;
    
    /**//*
     * 构造函数，使用搜索关键字构造
     */
    public CatchBaidu(String strKey,int pages)...{
        this.strKey=strKey;
        pages=(pages-1)*10;
        this.ItemList = new SearchItem[10];
        this.source="http://www.baidu.com/s?wd="+this.strKey+"&tn=cfish828_pg&pn="+pages;
        this.source=Socket(this.source);
        info = new String[40];
        this.GetBaidu();
    }
    public CatchBaidu(String strKey)...{
        this.strKey=strKey;
        this.ItemList = new SearchItem[10];
        this.source="http://www.baidu.com/s?wd="+this.strKey+"&tn=cfish828_pg&pn="+1;
        this.source=Socket(this.source);
        info = new String[40];
        this.GetBaidu();
    }
    /**//*
     * 使用socket获取制定baidu页面，并对页面进行初级筛选，找出有用的一行返回
     */
    public String Socket(String strPage)...{
        
        String strServer="www.baidu.com";
        String s=null;
        try ...{
            String hostname = strServer;
            int port = 80;
            InetAddress addr = InetAddress.getByName(hostname);
            Socket socket = new Socket(addr, port); //建立一个Socket

            //发送命令
            BufferedWriter wr = new BufferedWriter(new OutputStreamWriter(socket.getOutputStream(), "UTF8"));
            wr.write("GET " + strPage + " HTTP/1.0 ");
            wr.write("HOST:" + strServer + " ");
            wr.write(" ");
            wr.flush();

            //接收返回的结果
            BufferedReader rd = new BufferedReader(new InputStreamReader(socket.getInputStream()));
            String line;
            while (true) ...{
                line = rd.readLine();
                if(line.length()>=75)...{
                    if(line.startsWith("<table border="0" cellpadding="0" cellspacing="0"><tr><td class=f><a href=""))...{
                        s=line;
                        break;
                    }
                }
            }
            wr.close();
            rd.close();
        } 
        catch (Exception e) ...{
            System.out.println(e.toString());
        }
        return s;
    }//获取百度有用的字段；
        
    public String ClearOnce(String s)...{
        int first;
        int last;
        first = s.indexOf("<");
        last = s.indexOf(">");
        StringBuilder builder = new StringBuilder(s);
        builder.delete(first,last+1);
        return builder.toString();
    }//清除一次<>
    
    public String Clear(String s)...{
        while(s.indexOf(">")>0&s.indexOf(">")<s.length())...{
            s=this.ClearOnce(s);
        }
        return s;
    }//清除所有的<>
    
    public String ClearK(String s)...{
        return s.substring(0,s.indexOf("- "));
    }//去掉百度快照
    
    public String GetUrl(String s)...{
        int first;
        int lest;
        if((first=s.indexOf("class=f"))!=-1)...{
            lest=s.indexOf("" target");
            s=s.substring(first+17,lest);
            return s;
        }else
        return "";
    }//获取URL
    
    public void GetBaidu()...{
        int br;
        for(int i=0;i<40;i++)...{
            br=this.source.indexOf("<br>");
            info[i]=this.source.substring(0,br);
            this.source=this.source.substring(br+4,this.source.length());
        }//将数据进行分段，每四段代表一个信息
        for(int i=0;i<40;i++)...{
            if((i+1)%4==1)...{
                info[i+3]=GetUrl(info[i]);
            }
            info[i]=Clear(info[i]);
            if((i+1)%4==3)...{
                info[i]=ClearK(info[i]);
            }
            //System.out.println(st[i]);
        }//将信息整理，从新存储，顺序为 标题、简介、页面信息、URL
        for(int i=0;i<10;i++)...{
            int j=i*4;
            SearchItem item = new SearchItem(info[j],info[j+3],info[j+1],info[j+2]);
            this.ItemList[i]=item;
        }//将每条信息存入对象数组
    }//把信息分段存入数组
    
    public SearchItem[] GetBaiduItemList()...{
        return ItemList;
    }

    public static void main(String[] args)...{
        //System.out.print("QiSou.cn Search: ");
        //KeyboardInput input = new KeyboardInput();
        //String search = input.readString();
        CatchBaidu obj = new CatchBaidu("forest",4);
        SearchItem[] itemlist = obj.GetBaiduItemList();
        for(int i=0;i<10;i++)...{
            itemlist[i].print();
        }
    }

}

.

package  org.qisou;

public   class  SearchItem  ... {

    /** *//**
     * @param args
     * title: 标题
     * URL:链接地址
     * synopsis:简介
     * info:页面信息
     */
    //private String ID;
    private String title;
    private String URL;
    private String synopsis;
    private String info;
    
    public String GetTitle()...{
        return title;
    }
    public String GetURL()...{
        return URL;
    }
    public String GetSynopsis()...{
        return synopsis;
    }
    public String GetInfo()...{
        return info;
    }

    
    public SearchItem(String title ,String URL ,String synopsis ,String info)...{
        this.title=title;
        this.URL=URL;
        this.synopsis=synopsis;
        this.info=info;
    }
    public SearchItem()...{
        
    }
    
    public void print()...{
        System.out.println(this.GetURL());
        System.out.println(this.GetTitle());
        System.out.println(this.GetSynopsis());
        System.out.println(this.GetInfo());
    }
    public static void main(String[] args) ...{
        // TODO Auto-generated method stub
        SearchItem obj = new SearchItem("title","URL","synopsis","info");
        obj.print();

    }

}