基于Springboot的爬虫项目

爬虫基本原理

爬虫定义

爬虫，全称是网络爬虫，又称为网⻚蜘蛛，是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。

爬虫用途

搜索引擎：通过爬虫建立各网站内容的索引（比如：百度）
数据采集分析：通过爬虫获取大量数据并加以分析。（分析竞品公司）其他等等。
我们今天要做的Java爬虫获取招聘网站信息就是数据采集分析的过程，其本质就是不断向招聘网站发起HTTP请求，在响应中筛选出自己感兴趣的内容并加以分析。HTTP请求和响应大家来说应该已经很熟悉了，不管是使用JDK自带的HttpURLConnection或者是第三方开源框架如Apache的HttpClient都很容易发起HTTP请求并接收响应。

整合步骤

依赖集成

设置springboot的parent

<parent>
    <artifactId>spring-boot-starter-parent</artifactId>
    <groupId>org.springframework.boot</groupId>
    <version>1.5.2.RELEASE</version>
  </parent>

SpringBoot的项目必须先将parent设置为SpringBoot的parent，该parent包含了大量默认的配置，大大简化我们的开发。

引入web依赖

<dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

引入Web Magic的maven依赖

<dependency>
      <groupId>us.codecraft</groupId>
      <artifactId>webmagic-core</artifactId>
      <version>0.7.3</version>
    </dependency>
    <dependency>
      <groupId>us.codecraft</groupId>
      <artifactId>webmagic-extension</artifactId>
      <version>0.7.3</version>
    </dependency>

编写springboot启动类

@SpringBootApplication
@MapperScan("org.example.dao")
public class SpiderApplication
{
    public static void main( String[] args )
    {
        System.out.println( "爬虫项目启动" );
        SpringApplication.run(SpiderApplication.class,args);
    }
}

实现PageProcessor

import org.example.pojo.Sxs;
import org.springframework.stereotype.Service;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Selectable;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
/**
* 实习僧
*/
@Service("sxsProcessor")
public class SXSProcessor implements PageProcessor {
	//校招Java类
    static String URL="https://resume.shixiseng.com/interns?type=school&keyword=Java&page=1";
    public String getURL(){
        return URL;
    }
    抓取⽹站的相关配置，包括编码、抓取间隔、重试次数、代理、UserAgent等
    private Site site=Site.me().setCharset("utf-8")
                                .setSleepTime(new Random()
                                        .nextInt(20)*1000).setRetryTimes(3);
    @Override
    public void process(Page page) {
        String urlNum=URL.substring(URL.indexOf("page=")+5,URL.length());
        System.out.println("当前页数为: "+urlNum);
        List<Selectable> nodes = page.getHtml().xpath("//div[@class='intern-wrap intern-item']").nodes();;
        for (Selectable node:nodes
             ) {
             //通过Xpath解析信息
             //分析实习僧⽹⻚，能够获取的关键信息包括公司名称，⽹申⼊⼝URL、⼯作城市列表、岗位城市列表、
发布时间等
			//公司名称
            String company = node.xpath("//div[@class='f-r intern-detail__company']/p/a/text()").get();
            //公司薪水
            String salary=node.xpath("//div[@class='f-l intern-detail__job']/p/span/text()").get();
            //工作名称
            String job=node.xpath("//div[@class='f-l intern-detail__job']/p/a/text()").get();
            //公司简介
            String produce=node.xpath("//div[@class='f-r intern-detail__company']/p/span/text()").get();
            //公司位置
            String city=node.xpath("//span[@class='city ellipsis']/text()").get();
            //网申URL
            String url=node.xpath("//div[@class='f-l intern-detail__job']/p/a/@href").get();
            System.out.println("公司名称:"+company+", 招聘岗位:"+job+", 公司薪资:"+salary+", 公司简介:"+produce+" ,公司城市:"+city+", 网申URL:"+url);
            System.out.println("########################################");
        }
        //页数加一
        Integer pageIndex=Integer.valueOf(urlNum)+1;
        //停止爬虫的条件
        if(pageIndex>10) return;
        //替换掉url中的页数
        URL = URL.replace(URL.substring(URL.indexOf("page="),URL.length()),"page="+String.valueOf(pageIndex));
        //跳转下一页
        page.addTargetRequest(URL);
    }

    @Override
    public Site getSite() {
        return site;
    }
}

通过URL触发爬虫

@Controller
public class SpiderController {
    @Autowired
    SXSProcessor sxsProcessor;
    @RequestMapping("/spider")
    @ResponseBody
    public String spider(){
        System.out.println("开始爬取Java校招页面");
        Spider.create(sxsProcessor).addUrl(sxsProcessor.getURL()).run();
        return "success";
    }
}

运行截图