WebCollector爬虫学习记录（一）爬取国际石油网知识板块

一、爬取国际石油网知识板块

要爬取的网站为：http://oil.in-en.com/zhishi/

网站结构比较标准，新闻列表页单一且包含href链接，下一页链接等信息

1.1 添加种子

    }else if (crawler.webMoudle == 38) {  
            if (crawler.mk.equals("Sybk")) {  
                /* 起始页 */  
                crawler.addSeed("http://oil.in-en.com/zhishi/");  
                crawler.addRegex("http://oil.in-en.com/html/oil.*");  
            }     
        }  

1.2 visit覆写

1. 先提取列表页的Elements，他的class为”clist sborder“
2. 过滤其中的a[href]，如果包含"http://oil.in-en.com/html/oil"就加入清洗和入库
3. 如果indexOf("下一页")就next.add(href);，即将此链接设置为下一页的种子

    else if (this.webMoudle == 38) {  
                    Elements pageHaveClass = page.select("div[class]");  
                    for (Iterator it = pageHaveClass.iterator(); it.hasNext();) {  
                        Element pageSelectedClass = (Element) it.next();  
                        String classAttr = pageSelectedClass.attr("class");  
                        if (classAttr.equals("clist sborder")) {  
                            Elements es = pageSelectedClass.select("a[href]");  
                            for (Iterator itHref = es.iterator(); itHref.hasNext();) {  
                                Element e = (Element) itHref.next();  
                                String href = e.attr("abs:href");  
                                if (e.text().indexOf("下一页") >= 0) {  
                                    next.add(href);  
                                }  
                                if (href.indexOf("http://oil.in-en.com/html/oil") != -1) {  
      
                                    String title = e.text();  
                                    datebaseByContentExtractor(href, title);  
                                }  
                            }  
                        }  
                    }  
                }  

清洗、时间条件过滤、关键词过滤和入库的过程此处省略

在过滤class="clist sborder"的步骤好像麻烦了，但是jsoup的css选择器对于属性中间有空格的解决方法这边不是很了解，也没有查到，看下面可不可以解决。