多线程爬取批量的网页

初识爬虫01

课程目标：

• 了解爬虫的概念
• 编写一个简单的爬虫程序
  • 爬一个网页的指定信息
  • 爬取一个网页关联的子页面上的信息

一.WebMagic简介

• 一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。

• WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。

  而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wxG3MPOu-1571042657296)(C:\Users\CX\AppData\Roaming\Typora\typora-user-images\1557725747104.png)]

1.WebMagic的四个组件

1.Downloader

• Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

2.PageProcessor

• PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。

• 在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

3.Scheduler

• Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

• 除非项目有一些特殊的分布式需求，否则无需自己定制Scheduler。

4.Pipeline

• Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

• Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

2.用于数据流转的对象

1.Request

• Request是对URL地址的一层封装，一个Request对应一个URL地址。

  它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。

  除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。例如附加上一个页面的一些信息等。

2. Page

• Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容。

  Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。

3. ResultItems

• ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip，若设置为true，则不应被Pipeline处理。

3.控制爬虫运转的引擎–Spider

• Spider是WebMagic内部流程的核心。Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。Spider也是WebMagic操作的入口，它封装了爬虫的创建、启动、停止、多线程等功能。下面是一个设置各个组件，并且设置多线程和启动的例子。

public static void main(String[] args) {
    Spider.create(new GithubRepoPageProcessor())
            //从https://github.com/code4craft开始抓    
            .addUrl("https://github.com/code4craft")
            //设置Scheduler，使用Redis来管理URL队列
            .setScheduler(new RedisScheduler("localhost"))
            //设置Pipeline，将结果以json方式保存到文件
            .addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))
            //开启5个线程同时执行
            .thread(5)
            //启动爬虫
            .run();
}

二.第一个爬虫项目

1.准备工作

• 导入maven依赖

<!--核心功能依赖-->
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.3</version>
</dependency>
<!--扩展功能依赖-->
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.3</version>
<!--WebMagic使用slf4j-log4j12作为slf4j的实现.如果你自己定制了slf4j的实现，请在项目中去掉此依赖-->
    <exclusions>
        <exclusion>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
    </exclusions>
</dependency>

• 加入log4j.properties

### 设置###
log4j.rootLogger = info,stdout,D,E

### 输出信息到控制抬 ###
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} %m%n

### 输出DEBUG 级别以上的日志到=E://logs/error.log ###
log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
log4j.appender.D.File = D://logs/log.log
log4j.appender.D.Append = true
log4j.appender.D.Threshold = DEBUG
log4j.appender.D.layout = org.apache.log4j.PatternLayout
log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

### 输出ERROR 级别以上的日志到=E://logs/error.log ###
log4j.appender.E = org.apache.log4j.DailyRollingFileAppender
log4j.appender.E.File =D://logs/error.log
log4j.appender.E.Append = true
log4j.appender.E.Threshold = ERROR
log4j.appender.E.layout = org.apache.log4j.PatternLayout
log4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

2.编写一个简单的爬虫项目

• 创建一个类，继承 PageProcessor
• 爬取一个网页
• 爬取批量网页

public class Hello1 implements PageProcessor {

    @Override//解析页面
    public void process(Page page) {
//一.用三种选择器 搭配 解析 page源码
     //1.1css选择器
   List<String> news1 = page.getHtml().css("ul[class='ulist focuslistnews'] li a").all();
     //1.2xpath选择器
List<String> news2 = page.getHtml().xpath("//div[@id='pane-news']/ul[1]/li/a/text()").all();
        //2.存储 ResultItems
     page.putField("six_news",news1);
//二.爬取批量的网页
   //1.定义一个范围 links()获取匹配的超链接 a的 href 属性值 即是 关联的子页面的url
        List<String> hrefs = page.getHtml().css("div.hotnews ul li a").links().all();
        //2.hrefs 存到 排队 管理容器 中
        page.addTargetRequests(hrefs);
        List<String> aa = page.getHtml().xpath("//div[@class='cnt_bd']/p[4]").all();
        page.putField("content",aa);

    }
      //me()相当于new Site()
    private Site site=Site.me();
    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new Hello1())//关联 PageProcessor
                .addUrl("https://news.baidu.com/")//设置爬取的url
                //.addPipeline(new ConsolePipeline())默认把爬取的结果输出到控制台
                //.addPipeline(new FilePipeline("E:\\K8514-U3\\13.爬虫简介\\spider"))
                .thread(5)//开启5个线程同时爬取
                .run();//开始爬
    }

"))
.thread(5)//开启5个线程同时爬取
.run();//开始爬
}