【Java爬虫】爬取“软件工程师”招聘信息

最新推荐文章于 2024-07-09 14:45:02 发布

沉晓

最新推荐文章于 2024-07-09 14:45:02 发布

阅读量2.1k

点赞数 4

文章标签： Java爬虫

本文链接：https://blog.csdn.net/qq_42322103/article/details/94589579

版权

文章目录

分析
流程分析
- Scheduler组件。
- 三种去重方式
环境准备

分析

要爬的网站是前程无忧 https://jobs.51job.com/shanghai-hpq/42713907.html?s=01&t=1

在这里插入图片描述

流程分析

我们需要解析职位列表页，获取职位的详情页，再解析页面获取数据。
获取url地址的流程如下
在这里插入图片描述
但是在这里有个问题：在解析页面的时候，很可能会解析出相同的url地址（例如商品标题和商品图片超链接，而且url一样），如果不进行处理，同样的url会解析处理多次，浪费资源。所以我们需要有一个url去重的功能。

Scheduler组件。

WebMagic提供了Scheduler可以帮助我们解决以上问题。

Scheduler 是WebMagic 中进行URL管理的组件。一般来说，Scheduler包括

对待抓取的URL队列进行管理。
对已抓取的URL进行去重。

WebMagic内置了几个常用的scheduler。如果你只是在本地执行规模比较小的爬虫，那么基本无需定制Scheduler，但是了解一下已经提供的几个Scheduler还是有意义的。
在这里插入图片描述

去重部分被单独抽象成了一个接口：DuplicateRemover，从而可以为同一个Scheduler选择不同的去重方式，以适应不同的需要，目前提供了两种去重方式。

RedisScheduler 是使用Redis的set 进行去重，其他的Scheduler默认都使用HashSetDuplicateRemover来进行去重。

三种去重方式

HashSet使用java中的Hashset不能重复的特点去重。优点是容易理解。使用方便。
缺点：占用内存大，性能较低。
Redis去重
A使用Redis的set进行去重。优点是速度快（Redis本身速度就很快），而且去重不会占用爬虫服务器的资源，可以处理更大数据量的数据爬去。
缺点：需要准备Redis服务器，增加开发和使用成本。
布隆过滤器（BloomFilter）
使用布隆过滤器也可以实现去重。优点是占用的内存要比使用HashSet要小的多，也适合大量数据的去重操作。
缺点：有误判的可能。没有重复可能会判定重复，但是重复数据一定会判定重复。

布隆过滤器（Bloom Filter）是由Burton Howard Bloom于1970年提出，它是一种space efficient的概率型数据结构，用于判断一个元素是否在集合中。在垃圾邮件过滤的黑白名单方法、爬虫（Crawler）的网址判重模块中等等经常被用到。

哈希表也能用于判断元素是否在集合中，但是布隆过滤器只需要哈希表的1/8或1/4的空间复杂度就能完成同样的问题。布隆过滤器可以插入元素，但不可以删除已有元素。其中的元素越多，误报率越大，但是漏报是不可能的。。

原理：
布隆过滤器需要的是一个位数组（和位图类似）和K个映射函数（和Hash表类似），在初始状态时，对于长度为m的位数组array，它的所有位被置0。

在这里插入图片描述

对于有n个元素的集合S={S1，52…Sn}，通过k个映射函数{f1，f2…….fk}，将集合S中的每个元素Sj（1<=j<=n）映射为K个值（g1，g2…gk}，然后再将位数组array中相对应的array[g1]，aray[g2]……arraylgk]置为1：

在这里插入图片描述
如果要查找某个元素item是否在S中，则通过映射函数{1，f2.…fk}得到k个值{81，g2…gk}，然后再判断 arraylg1]，array[g2]…array[gk]是否都为1，若全为1，则item在s中，否则item不在s中。

布隆过滤器会造成一定的误判，因为集合中的若干个元素通过映射之后得到的数值恰巧包括g1，g2.…gk，在这种情况下可能会造成误判，但是概率很小。

环境准备

建立数据库

CREATE TABLE job_info(
	id BIGINT(20) NOT NULL AUTO_INCREMENT,
	company_name VARCHAR(100) DEFAULT NULL,
	company_addr VARCHAR(200) DEFAULT NULL,
	company_info VARCHAR( 5000) DEFAULT NULL,
	job_name VARCHAR(100) DEFAULT NULL,
	job_info VARCHAR( 5000) DEFAULT NULL,
	salary_min int(10) DEFAULT NULL,
	salary_max int(10) DEFAULT NULL,
	url VARCHAR(150) DEFAULT NULL,
	time VARCHAR(10) DEFAULT NULL,PRIMARY KEY(id)
)DEFAULT CHARSET = utf8

建表如下：
在这里插入图片描述
Maven配置

   <!-- https://mvnrepository.com/artifact/junit/junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-core -->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-extension -->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.3</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.16</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.github.alexandrnikitin/bloom-filter -->
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>16.0</version>
        </dependency>

结构：
在这里插入图片描述
创建JobInfo对象
与数据库对应

package spider.info;

public class JobInfo {
    private Long id;
    private String companyName;
    private String companyAddr;
    private String companyInfo;
    private String jobName;
    private String jobInfo;
    private Integer salaryMin;
    private Integer salaryMax;
    private String url;
    private String time;

    public Long getId() {
        return id;
    }

    public String getCompanyName() {
        return companyName;
    }

    public String getCompanyAddr() {
        return companyAddr;
    }

    public String getCompanyInfo() {
        return companyInfo;
    }

    public String getJobName() {
        return jobName;
    }



    public String getJobInfo() {
        return jobInfo;
    }

    public Integer getSalaryMin() {
        return salaryMin;
    }

    public Integer getSalaryMax() {
        return salaryMax;
    }

    public String getUrl() {
        return url;
    }

    public String getTime() {
        return time;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public void setCompanyName(String companyName) {
        this.companyName = companyName;
    }

    public void setCompanyAddr(String companyAddr) {
        this.companyAddr = companyAddr;
    }

    public void setCompanyInfo(String companyInfo) {
        this.companyInfo = companyInfo;
    }

    public void setJobName(String jobName) {
        this.jobName = jobName;
    }

    public void setJobInfo(String jobInfo) {
        this.jobInfo = jobInfo;
    }

    public void setSalaryMin(Integer salaryMin) {
        this.salaryMin = salaryMin;
    }

    public void setSalaryMax(Integer salaryMax) {
        this.salaryMax = salaryMax;
    }

    public void setUrl(String url) {
        this.url = url;
    }

    public void setTime(String time) {
        this.time = time;
    }
}

SpiderGoGO.java
实现爬虫的核心功能

package spider.todo;

import org.jsoup.Jsoup;
import spider.info.JobInfo;
import spider.utils.SalaryMath;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.Selectable;

import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;


public class SpiderGoGO implements PageProcessor {
    private Site site = Site.me()
            .setCharset("gbk")  //设置编码
            .setTimeOut(10*1000)   //设置超时时间
            .setSleepTime(3000)  //设置重试间隔时间
            .setRetryTimes(3);  //设置重试次数

    public void process(Page page) {
        //解析页面 获取信息详情的url
        List<Selectable> list =  page.getHtml().css("div.el p.t1 span a").nodes();
        //判断获取到的集合是否为空
        if(list.size() == 0){
            //如果为空 表示这是招聘详情页 解析页面 获取招聘详情 保存数据
            saveJobInfo(page);  //调用方法保存数据  这个方法写下面啦
        }else {
            //如果不为空 表示这是列表页 解析出详情页的url 放到任务队列中
            for (Selectable selectable:list){
                //获取url地址
                String jobInfo = selectable.links().toString();
                //把获取的url地址放到任务队列中
                page.addTargetRequest(jobInfo);
            }
            //获取下一页的的url
           String s =  page.getHtml().css("div.p_in li.bk").regex("<a[\\s\\S]*?下一页</a>").toString();
            // 按指定模式在字符串查找
            String pattern = "<a href=\"(.*)\"";

            // 创建 Pattern 对象
            Pattern r = Pattern.compile(pattern);

            // 现在创建 matcher 对象
            Matcher m = r.matcher(s);
            if (m.find( )) {
                String url = m.group(1);
                //把下一页的url加入任务队列中
                //***************************************************************************
              page.addTargetRequest(url);
                //***************************************************************************
            }

        }
    }

    //解析页面,获取招聘详情信息.保存数据
    private void saveJobInfo(Page page){
        //创建招聘详情对象
        JobInfo jobInfo = new JobInfo();
        //解析解析页面
        Html html = page.getHtml();
        //保存数据,封装到对象中
        jobInfo.setCompanyAddr(Jsoup.parse(html.css("div.bmsg").nodes().get(1).toString()).text());
        jobInfo.setCompanyInfo(Jsoup.parse(html.css("div.tmsg").toString()).text());
        jobInfo.setCompanyName(html.css("div.cn p.cname a","text").toString());
       // jobInfo.setId();  ID不写 是自增的
        jobInfo.setJobInfo(Jsoup.parse(html.css("div.job_msg").toString()).text());
        jobInfo.setJobName(html.css("div.cn h1","text").toString());
        //获取薪资
        Integer[] salary = SalaryMath.getSalary(html.css("div.cn strong", "text").toString());
        jobInfo.setSalaryMax(salary[1]);
        jobInfo.setSalaryMin(salary[0]);
        //获取发布时间
        String content = Jsoup.parse(html.css("div.cn p").regex(".*发布").toString()).text();
        jobInfo.setTime(content.substring(content.length()-7,content.length()-2));
        jobInfo.setUrl(page.getUrl().toString());


       // 上面的内容设置完成后将结果保存在内存中
        page.putField("JobInfo",jobInfo);
        //实际上数据存放在resultItems中

    }

    public Site getSite() {
        return site;
    }
}

DataPipline.java
实现数据库存储的功能

package spider.todo;

import spider.info.JobInfo;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;

import java.sql.*;

public class DataPipline implements Pipeline {
    public void process(ResultItems resultItems, Task task) {
        //获取封装号的招聘详情对象
        JobInfo jobInfo = resultItems.get("JobInfo");
        //判断数据是否不为空
        if(jobInfo != null){
            //保存自数据库中
            Connection conn;
            //注册驱动
            try {
                Class.forName("com.mysql.cj.jdbc.Driver");
                //获取数据库连接对象 Connection
                conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/spider?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC","root","root");
                //定义sql
                String sql="insert into job_info (company_name,company_addr,company_info,job_name,job_info,salary_min,salary_max,url,time) " +
                        "values(?,?,?,?,?,?,?,?,?);";

                //给?赋值
                PreparedStatement pstmt = conn.prepareStatement(sql);
                pstmt.setString(1,jobInfo.getCompanyName());
                pstmt.setString(2,jobInfo.getCompanyAddr());
                pstmt.setString(3,jobInfo.getCompanyInfo());
                pstmt.setString(4,jobInfo.getJobName());
                pstmt.setString(5,jobInfo.getJobInfo());
                pstmt.setInt(6,jobInfo.getSalaryMin());
                pstmt.setInt(7,jobInfo.getSalaryMax());
                pstmt.setString(8,jobInfo.getUrl());
                pstmt.setString(9,jobInfo.getTime());
                //执行sql，接受返回结果
                int count = pstmt.executeUpdate();
                //处理结果
                System.out.println(count);
                //释放资源
                conn.close();
                pstmt.close();
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
}

爬取的信息中的公司给的工资有以年为单位的有以月的这里转换一下
SalaryMath.java

package spider.utils;

public class SalaryMath{

    public static Integer[] getSalary(String salaryStr) {
        //声明存放薪水范围的数组
        Integer[] salary = new Integer[2];

        String date = salaryStr.substring(salaryStr.length() - 1, salaryStr.length());
        //如果是按天，则直接乘以240进行计算
        if (!"月".equals(date) && !"年".equals(date)) {
            salaryStr = salaryStr.substring(0, salaryStr.length() - 2);
            salary[0] = salary[1] = str2Num(salaryStr, 240);
            return salary;
        }

        String unit = salaryStr.substring(salaryStr.length() - 3, salaryStr.length() - 2);
        String[] salarys = salaryStr.substring(0, salaryStr.length() - 3).split("-");

        salary[0] = mathSalary(date, unit, salarys[0]);
        salary[1] = mathSalary(date, unit, salarys[1]);

        return salary;
    }

    //根据条件计算薪水
    private static Integer mathSalary(String date, String unit, String salaryStr) {
        Integer salary = 0;

        //判断单位是否是万
        if ("万".equals(unit)) {
            //如果是万，薪水乘以1000
            salary = str2Num(salaryStr, 1000);
        } else {
            //否则乘以100
            salary = str2Num(salaryStr, 100);
        }

        //判断时间是否是月
        if ("月".equals(date)) {
            //如果是月，薪水乘以12
            salary = str2Num(salary.toString(), 12);
        }

        return salary;
    }

    private static int str2Num(String salaryStr, int num) {
        try {
            // 把字符串转为小数，必须用Number接受，否则会有精度丢失的问题
            Number result = Float.parseFloat(salaryStr) * num;
            return result.intValue();
        } catch (Exception e) {
        }
        return 0;
    }
}

测试类

package spiderTest;

import org.junit.Test;
import spider.todo.DataPipline;
import spider.todo.SpiderGoGO;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.scheduler.BloomFilterDuplicateRemover;
import us.codecraft.webmagic.scheduler.QueueScheduler;

public class SpiderTest {
    @Test
    public void main(){
        long startTime, endTime;
        System.out.println("开始爬取数据");
        startTime = System.currentTimeMillis();
        String url = "https://search.51job.com/list/010000%252C020000,000000,0000,00,9,99,Java%2B%25E5%2590%258E%25E5%258F%25B0,2,1.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=1&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=";
        Spider.create(new SpiderGoGO())
                .addUrl(url)
               .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(100000)))
                .thread(10)
                .addPipeline(new DataPipline()) //存储数据
                .run();
        endTime = System.currentTimeMillis();
        System.err.println("爬取结束，耗时约" + ((endTime - startTime) / 1000) + "秒");
    }
}