使用Jsoup采集拉勾网招聘信息

最新推荐文章于 2023-07-09 21:26:23 发布
最新推荐文章于 2023-07-09 21:26:23 发布
阅读量1.9k 收藏
点赞数 3
分类专栏： Java 数据采集 文章标签： 数据采集 Jsoup csv java 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baalhuo/article/details/52511430
版权

本文使用Jsoup采集拉勾网招聘数据并写入CSV文件中，实现非常简单，在此不做多余的解释，如有问题可留言交流。


数据模型：job.java

package xyz.baal.jsoup;

public class Job {
	
	private String jobname;//职位名称
	private String salary;//薪水
	private String place;//工作地点
	private String experience;//工作经验
	private String educational;//学历
	private String business;//业务
	private String stage;//发展阶段
	private String company;//公司名称
	
	public Job() {
		super();
	}
	
	public Job(String jobname, String salary, String place, String experience, String educational, String business,
			String stage, String company) {
		super();
		this.jobname = jobname;
		this.salary = salary;
		this.place = place;
		this.experience = experience;
		this.educational = educational;
		this.business = business;
		this.stage = stage;
		this.company = company;
	}

	public String getJobname() {
		return jobname;
	}
	public void setJobname(String jobname) {
		this.jobname = jobname;
	}
	public String getSalary() {
		return salary;
	}
	public void setSalary(String salary) {
		this.salary = salary;
	}
	public String getPlace() {
		return place;
	}
	public void setPlace(String place) {
		this.place = place;
	}
	public String getExperience() {
		return experience;
	}
	public void setExperience(String experience) {
		this.experience = experience;
	}
	public String getEducational() {
		return educational;
	}
	public void setEducational(String educational) {
		this.educational = educational;
	}
	public String getBusiness() {
		return business;
	}
	public void setBusiness(String business) {
		this.business = business;
	}
	public String getStage() {
		return stage;
	}
	public void setStage(String stage) {
		this.stage = stage;
	}
	public String getCompany() {
		return company;
	}
	public void setCompany(String company) {
		this.company = company;
	}

	@Override
	public String toString() {
		return "Job [jobname=" + jobname + ", salary=" + salary + ", place=" + place + ", experience=" + experience
				+ ", educational=" + educational + ", business=" + business + ", stage=" + stage + ", company="
				+ company + "]";
	}
}



写入CSV使用的是CSVReader，由于源文件中就CsvReader、CsvWriter两个文件，在这里直接引用了CsvWriter源文件（附：API文档）。



获取各个招聘职位首页链接，如java招聘链接为//www.lagou.com/zhaopin/Java/

package xyz.baal.jsoup;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 根据拉勾网首页获取各个招聘职位首页链接
 * 
 * @author 
 *
 */
public class GetZPURL {
	
	private List<String> zpURLlist = new ArrayList<String>();//存放各个招聘职位首页链接
	
	public GetZPURL(){
		super();
	}
	
	/**
	 * 网络加载html文档
	 * @param url	文档url
	 */
	public void loadInternet(String url) {
		Document doc = null;
		try {
			doc = Jsoup.connect(url)
					.userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.101 Safari/537.36")
					.timeout(5000)
					.get();
		} catch (IOException e) {
			System.out.println("获取招聘URL失败。");
			return;
		}
		Element content = doc.getElementById("container");
		Elements links = content.getElementsByTag("a");
		for (Element link : links) {
			String linkHref = link.attr("href");
			if(isZp(linkHref)){
				zpURLlist.add(linkHref);
			}
		}
	}
	
	/**
	 * 从本地加载html文档
	 * @param path	文档路径
	 * @param charset	文档字符集
	 * @param baseURL	基本url，当链接中存在相对路径时作为前缀
	 * @throws IOException	文件不存在或无法读取时抛出此异常
	 */
	public void loadLocal(String path ,String charset, String baseURL) throws IOException {

		File input = new File(path);
		Document doc = Jsoup.parse(input, charset, baseURL);
		Element content = doc.getElementById("container");
		Elements links = content.getElementsByTag("a");
		for (Element link : links) {
			String linkHref = link.attr("href");
			if(isZp(linkHref)){
				zpURLlist.add(linkHref);
			}
		}
	}
	
	public boolean isZp(String url){
		if(url.indexOf("//www.lagou.com/zhaopin/")!=-1&&url.length()>24){
			return true;
		}else {
			return false;
		}
	}

	public List<String> getZpURLlist() {
		return zpURLlist;
	}
}

获取某一招聘职位的30x15条数据，并写入CSV文件。 

package xyz.baal.jsoup;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.csvreader.CsvWriter;

/**
 * 获取拉勾网某一个职位的30x15条招聘信息
 * 
 * @author
 * 
 */
public class GetJob implements Runnable{

	private String zpUrl;// 某招聘职位对应的原始URL
	private List<String> zpUrlList = new ArrayList<String>(); // 每个分页对应的URL
	private List<String> jobUrlList = new ArrayList<String>();// 每条招聘信息对应的URL
	private List<Job> joblist = new ArrayList<Job>();// 存放30x15条招聘信息

	private static final String A_HREF = "//www.lagou.com/jobs/\\d+.html"; // href格式 //www.lagou.com/jobs/2350451.html
	private static final String PATH = "D:/"; // 文件存放路径

	private String jobName = "";//招聘职位名称

	/**
	 * 
	 * @param url 招聘职位首页url,如java、hadoop等招聘职位
	 */
	public GetJob(String url) {
		zpUrl = url;
	}

	/**
	 * 在此方法内完成某一招聘职位的450条数据抓取
	 */
	public void init() {
		
		// 构建30个分页URL
		zpUrlList.add(zpUrl + "?filterOption=3");
		for (int i = 2; i <= 30; i++) {
			zpUrlList.add(zpUrl + i + "/?filterOption=3");
		}

		// 提取每个分页中的招聘信息URL
		for (String string : zpUrlList) {
			Document doc = null;
			try {
				doc = Jsoup.connect("http:" + string)
						.userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.101 Safari/537.36")
						.timeout(5000)
						.get();
			} catch (IOException e) {
				continue;
			}
			Element content = doc.getElementById("s_position_list");
			if (content == null) {
				continue;
			}

			Elements links = content.getElementsByTag("a");
			if (links == null) {
				continue;
			}
			for (Element link : links) {
				String linkHref = link.attr("href");
				Pattern pattern = Pattern.compile(A_HREF, Pattern.CASE_INSENSITIVE);
				Matcher matcher = pattern.matcher(linkHref);
				if (matcher.find()) {
					jobUrlList.add("http:" + linkHref);
				}
			}
			if (jobName == "") {
				jobName = doc.select("title").first().text().split("-")[0];
			}
		}

		// 根据招聘信息URL提取招聘详细信息
		for (String string : jobUrlList) {
			Job job = new Job();
			Document doc = null;
			try {
				doc = Jsoup.connect(string)
						.userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.101 Safari/537.36")
						.timeout(5000)
						.get();
				job.setJobname(jobName);

				Element content = doc.getElementById("container");
				Element job_request = content.select(".job_request p").first();
				if (job_request != null) {
					if (job_request.child(0) != null) {
						job.setSalary(job_request.child(0).text());
						job.setPlace(job_request.child(1).text());
						job.setExperience(job_request.child(2).text());
						job.setEducational(job_request.child(3).text());
					} else {
						continue;
					}

				} else {
					continue;
				}

				Element cpy = doc.getElementById("job_company");
				if (cpy.childNodeSize()>=2) {
					job.setCompany(cpy.child(0).child(0).child(0).attr("alt"));
					job.setBusiness(cpy.child(1).child(0).child(0).ownText());
					job.setStage(cpy.child(1).child(2).child(0).ownText());
				} else {
					continue;
				}
				joblist.add(job);
			} catch (IOException e) {
				continue;
			}
		}
	}

	public List<Job> getJoblist() {
		return joblist;
	}

	/**
	 * 将采集数据写入txt文件中
	 */
	public void writeTxtFile() {
		if (joblist.size() == 0 || joblist == null) {
			return;
		}
		File file = new File(PATH + joblist.get(0).getJobname() + ".txt");
		FileWriter fw = null;
		BufferedWriter bw = null;
		Iterator<Job> iter = joblist.iterator();
		try {
			fw = new FileWriter(file);
			bw = new BufferedWriter(fw);
			while (iter.hasNext()) {
				bw.write(iter.next().toString());
				bw.newLine();
			}
			bw.flush();
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			try {
				if (bw != null) {
					bw.close();
				}
				if (fw != null) {
					fw.close();
				}
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	}

	/**
	 * 将采集数据写入CSV文件中
	 */
	public void writeCSVFile() {
		CsvWriter wr = null;
		if (joblist.size() == 0 || joblist == null) {
			return;
		}
		try {
			String csvFilePath = PATH + joblist.get(0).getJobname() + ".csv";
			wr = new CsvWriter(csvFilePath, ',', Charset.forName("GBK"));
			String[] header = { "职位名称", "薪水", "工作地点", "工作经验", "学历", "公司名称", "公司业务", "发展阶段"};
			wr.writeRecord(header);
			for (Job job : joblist) {
				String[] jobstr = { job.getJobname(), job.getSalary(), job.getPlace(), job.getExperience(),
						job.getEducational(), job.getCompany(), job.getBusiness(), job.getStage() };
				wr.writeRecord(jobstr);
			}
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			if (wr != null) {
				wr.close();
			}
		}
	}

	@Override
	public void run() {
		init();
		writeCSVFile();
		System.out.println(jobName+"--End");
	}
}

采集测试： 

package xyz.baal.jsoup;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class Test {

public static List<String> zpURLlist = new ArrayList<String>();
	
	public static void main(String[] args) throws IOException {

		 //创建等待任务队列   
        BlockingQueue<Runnable> bqueue = new ArrayBlockingQueue<Runnable>(20);   
        //创建线程池，池中保存的线程数为3，池中允许的最大线程数为4  
        ThreadPoolExecutor pool = new ThreadPoolExecutor(3,4,50,TimeUnit.MILLISECONDS,bqueue);   
		
		Runnable job1 = new GetJob("//www.lagou.com/zhaopin/iOS/");
		Runnable job2 = new GetJob("//www.lagou.com/zhaopin/C/");
		Runnable job3 = new GetJob("//www.lagou.com/zhaopin/C++/");
		Runnable job4 = new GetJob("//www.lagou.com/zhaopin/Python/");
		Runnable job5 = new GetJob("//www.lagou.com/zhaopin/HTML5/");
		Runnable job6 = new GetJob("//www.lagou.com/zhaopin/webqianduan/");
		
		pool.execute(job1);
		pool.execute(job2);
		pool.execute(job3);
		pool.execute(job4);
		pool.execute(job5);
		pool.execute(job6);
		//关闭线程池
		pool.shutdown();
	}
}


如需IP代理可在此网站寻找代理资源：http://www.xicidaili.com/

GitHub：点这里

baalhuo
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬取拉勾网招聘信息
22h's Blog
03-22 1451
爬取拉勾网感兴趣的招聘信息，并用自己的抠脚技术分析下？ 爬取目标： + 爬取拉勾网上自己感兴趣的职位 + 获取每个职位的大致信息 + 凭想象分析爬取结果（MySql+Excel） 0、爬取效果： 1、分析爬取的目标url为：’https://www.lagou.com/zhaopin/‘+ language + ‘/’+ pageIndex +’/?filterOption
[jjzhu学python]之使用python抓取拉勾网职位信息并做简单统计分析
jjzhu_zju的博客
04-10 5138
自写的python爬虫，简单的实现了抓取拉勾网的一些职位信息，简单运用了多线程，后期再多这些信息进行统计，做点简单的分析，
【爬虫相关】爬虫爬取拉勾网的安卓招聘信息
zq019的博客
12-26 591
我知道没图你们是不会看的 如图：以上是抓取了30页拉勾上关于招聘安卓相关的内容 然后根据词频 制作出词云图 出现最多的词是 开发经验 整体流程总共分为2步 1.爬虫爬取相关的招聘信息 2.根据获取到的招聘信息 生成词云图 这里的爬虫采用的是scrapy框架  编辑器使用的是PyCharm，本次不是针对零基础，如果对爬虫感兴趣推荐大家看这本 我就是看的这本书 链接：htt
应用Jsoup轻松爬取招聘网信息
安见
12-14 318
临近寒假，又有许多公司发布招聘信息。应用Jsoup可以轻松爬取得到招聘网的信息。 准备工具： Eclipse jsoup jar包 谷歌浏览器 jsoup的中文网：http://www.open-open.com/jsoup/ 现在开始，我们先找一个招聘网，这里找的是猎聘网。 网址是：https://www.liepin.com/zhaopin/?init=-1&amp;amp;amp;headckid=54...
拉勾网认证企业信息采集
刺客python
12-31 790
数据库表语句：CREATE TABLE `lagou` ( `id` int(8) NOT NULL AUTO_INCREMENT, `l_url` varchar(255) NOT NULL, `companyurl` varchar(255) NOT NULL, `companuname` varchar(255) NOT NULL, `companyintro` blob
Jsoup解析html实现招聘信息查询功能
10-20
要使用 Jsoup 实现招聘信息的查询功能，我们需要完成以下步骤： 1. **导入 Jsoup 库**：首先，在项目中引入 Jsoup 的依赖。如果你使用的是 Maven，可以在 pom.xml 文件中添加如下依赖： ```xml <groupId>org....
使用jsoup解析html的table中的文本信息实例
10-18
在本文中，我们将深入探讨如何使用Jsoup这个Java库来解析HTML文档，特别是提取HTML表格（table）中的文本信息。Jsoup是一个强大的库，它提供了方便的API来处理HTML，包括解析、查找、修改和输出HTML内容。让我们通过...
Java使用Jsoup抓取网页关键信息并入库
08-08
在"Java使用Jsoup抓取网页关键信息"这部分，我们需要了解以下几个知识点： 1. **Jsoup连接与解析网页**：使用Jsoup的`connect()`方法建立HTTP连接，然后通过`get()`或`post()`发送请求获取网页内容。获取到的HTML...
SpringBoot中使用Jsoup爬取网站数据的方法
10-15
以下将详细介绍如何在SpringBoot应用中集成并使用Jsoup进行网站数据爬取。 首先，为了在SpringBoot项目中使用Jsoup，我们需要在`pom.xml`文件中添加对应的依赖。在给出的标签中，可以看到已经包含了Jsoup的依赖，...
爬取拉勾网“全国”“数据分析”、“深圳市”“数据分析”岗位招聘信息并进行分析.ipynb
10-07
使用Python简单爬取了拉勾网“全国”“数据分析”、“深圳市”“数据分析”岗位招聘基本信息，并进行了简单分析
爬取拉勾网
weixin_42141853的博客
07-03 768
import json import requests import urllib.request from urllib import parse import re def getTotalPage(job,city): #url 编码 city=urllib.parse.urlencode({'city':city}) #字符串编码 job=urllib...
jsoup采集
kang19870415的专栏
08-03 142
详细API使用可参阅:https://www.cnblogs.com/panda2/p/7245317.html /**  *   * @author 北方雪  *   */ public class MyInfoParser {     public Document getDocument(String url) {         try {             return Jso...
js 拉勾网效果_爬虫篇 | 高级爬虫(三)：使用Scrapy爬取拉勾网数据并写入数据库...
weixin_42469012的博客
01-03 400
最近更新文章比较克制，因为做公众号有自己的价值观「每次更新尽量给读者提供价值而不是消费读者」公众号立足于原创，内容尽量做到系统化，结构化，立体化，旨在让读者能直接能过我的教程来循序渐进的去提升自己。之前我们讲到了使用Scrapy，今天我们使用Scrapy来作一个项目实战。Scrapy详细教程可以看前面两篇：爬虫篇 | 高级爬虫(一):Scrapy爬虫框架的安装爬虫篇 | 高级爬虫( 二)...
Jsoup进行网页的抓取
qq_43755434的博客
04-26 225
引入JAR <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> </dependency> 工具类 import org.jsoup.Jsoup; i...
今天做的采集数据（采集拉勾网）
woshiguhaipeng的专栏
04-18 472
Caiji.class.php文件 header("Content-type: text/html; charset=utf-8"); /** * 封装成一个地址类，输入地址和职位即可采集 */ class Caiji{ private $url; //定义接口地址 private $data; //定义向接口请求的需要发送请求的数据 function __construc
数据采集jsoup
主神的博客
09-20 162
数据采集jsoup -jsoup介绍： 1. jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。 2. jsoup 的主要功能如下： - 从一个 URL或字符串中解析 HTML； - 使用 DOM或 CSS 选择器来查找、取出数据； - 可操作 HTML 元素、属性、文本； 3. jsoup 是基于 MIT协议发布的，可放心使用于商业项目。 jsoup环境配置： idea jsoup环境配置： 导jar包： 下载jar包:官网 导入jar包：
使用jsoup抓取和解析网页数据
最新发布
小易
07-09 3148
jsoup是一个强大的Java库，可以用于解析HTML文档。它提供了许多常用的API，用于选择、遍历和修改HTML文档中的元素和属性。选择器（Selector）API：用于根据CSS选择器语法选择HTML元素。属性（Attribute）API：用于获取、设置和移除HTML元素的属性。遍历（Traversal）API：用于遍历HTML文档中的元素。操作（Manipulation）API：用于修改HTML文档中的元素和属性。接下来，我们将逐一介绍这些API，并给出相应的代码示例。
使用jsoup采集网页实例
fenqingxingpeiyue的博客
05-29 707
使用jsoup采集网页实例
jsoup采集html
05-14
JSoup是一个Java的HTML解析器，它提供了一种非常方便的方式来从HTML文档中获取和操作数据。以下是一个简单的JSoup采集...使用JSoup采集HTML非常方便，它提供了强大的选择器语法和灵活的API，使得解析HTML变得非常简单。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值