获取招聘网站下的HR-Email信息

最新推荐文章于 2021-02-04 04:09:29 发布
最新推荐文章于 2021-02-04 04:09:29 发布
阅读量6.1k 收藏
点赞数
分类专栏： 随笔 文章标签： 采集 select
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yuruiyu/article/details/81285451
版权

        前段时间，按照上面的要求，需要做一个职场黑名单的项目，负责的部分是数据采集，也就是通过对各大招聘网站，按照地区或者其它划分，采集HR的邮箱信息入库，由于采集的网站较多，所以把部分公用的方法放在一个类中，方便调用，下面是对51job的采集，代码如下：

package org.hr.integrity.crawl;

import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.HashSet;
import java.util.LinkedList;
import java.util.List;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.Set;

import org.apache.commons.httpclient.NameValuePair;
import org.hr.util.ConnectionUtil;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 爬取51job
 * @author 72414
 *
 */
public class JobsHref {
	
	NameValuePair[] data = null;

	static List<String> col = new ArrayList<String>();// 公司主页col 
	
	static Example ex = new Example();
	
	//放入到set集合中
	static Set<String> list = new HashSet<String>();
	
	public boolean getEmail(String body){//判断email地址
		
		boolean flag=false;
		
		 try{
			 Pattern p = Pattern.compile("[a-zA-Z0-9\\.\\-\\_]+?@[a-zA-Z0-9\\.\\-\\_]+\\.[a-zA-Z]{2,3}"); 
			 Matcher m =p.matcher(body);
			 	if(m.find()){

			 		String email=m.group();
			 		
			 			if(!email.equals("club@51job.com")){

			 					flag=true;
			 					
			 					System.out.println("email:"+email);
			 					
			 					list.add(email);
			 				}
			 		}
		 	}
		 	catch(Exception e){
			 
		 		e.printStackTrace();
		 }
    	return flag;
	}
	
	
	@SuppressWarnings({ "static-access", "unused" })
	public List<String> getHref(String body, NameValuePair[] data1) throws Exception// 得到招聘网站公司发布的第一页的网址
	{
		
		JobsHref jh = new JobsHref();
		
		NameValuePair data[] = {
				
				new NameValuePair("loginname", "2066989394@qq.com"),
				new NameValuePair("password", "dir13652") };
		
		if (body != null && !"".equals(body)) {
			
			Document doc = Jsoup.parse(body);//Document doc = jh.requestDocumnet(body);
			
			Elements linksElements = doc.select("[class=el]");
		
			for (Element element : linksElements) {
				
				Elements jobs = element.getElementsByClass("t1");//岗位名称
				
				for (Element ele : jobs) {
				
					Element links = ele.getElementsByTag("a").first();
				
					String href = links.attr("href");
				
					if (href.indexOf("https://") >= 0) {
					
						if (href != null && !"null".equals(href)&& !"".equals(href) && !col.contains(href)) {
						
							col.add(href);
						
							String context = ex.getPostResponseWithHttpClient(href, "GBK");// 得到招聘时应聘的html，这里成为广度优先的第2层
							
							if(!getEmail(context)){
								
							}
						}
					}
				}
			}
		}
		return col;
	}
	
	
	public static String getURLValidate2(String url) {//检测URL
		
		String URL=null;
		 if(url.length()<=29){
			 return "";
         		 }
		 else{
		     Matcher m =null;
		     	try {
					Pattern p = Pattern.compile("https://search.51job.com/list/");
				/*
				 * 51job中和工作有关的网页以http://search\\.51job\\.com/list/开头，
				 * 截取从工作高级搜索找工作网页得到的超链与上面匹配，返回需要的超链
				 */
				
					String suburl=url.trim().substring(0, 30);//
					
					m = p.matcher(suburl);
					
					if (m.find()) {
						
						URL = url;
						
					}
					else{
						
						return "";
						
					}

		     	} 
				catch (Exception e) {

					e.printStackTrace();
				}
		 	}
		 return URL;
		
		}

	@SuppressWarnings("unused")
	public List<String> getHref1(String body, NameValuePair[] data1) throws Exception// 得到招聘分页的网址
	{

		LinkedList<String> nowpageHref = new LinkedList<String>();
		
		NameValuePair data[] = {
				new NameValuePair("loginname", "2066989394@qq.com"),
				new NameValuePair("password", "dir13652") };
		
		if (body != null && !"".equals(body)) {
			
			Document doc = Jsoup.parse(body);
			
			Elements linksElements = doc.select("div.p_in>ul>li>a");//得到分页链接
			
			for (Element ele : linksElements) {	
				
				String href = getURLValidate2(ele.attr("href")) ;
				
				if (href != null && href.indexOf("https://") >= 0&&!"".equals(href)) {	
					
					if (!nowpageHref.contains(href))
						
						nowpageHref.add(href);

				}
				
			}

		}
		
		return nowpageHref;
	}
	

	@SuppressWarnings("static-access")
	public static void main(String[] args) throws Exception {
		
		JobsHref js= new JobsHref();

		NameValuePair data1[] = {
				
				new NameValuePair("loginname", "2066989394@qq.com"),
				new NameValuePair("password", "dir13652") };
		
			String body= ex.getGetResponseWithHttpClient(
					"http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=010000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=3&providesalary=99&keywordtype=2&curr_page=1&lang=c&stype=2&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=01&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&fromType=14"
					,"GBK");// 得到各地区发布的工作的html页面  
      		js.getHref(body, data1);//返回当页工作的网站
      		
        	List<String> page = js.getHref1(body, data1);//得到招聘分页的网站
        	
    		Iterator<String> It = page.iterator();
    		
    		while (It.hasNext()) {

    			String result = ex.getGetResponseWithHttpClient(It.next(),"GBK");
 
    			js.getHref(result, data1);
    		}
		ex.printEmialList();
		
		ConnectionUtil cu = new ConnectionUtil();
		
		for (String str : list) {

			cu.addEmail(str.trim());//去掉空格
		}
		
		System.out.println("运行完成！");
	}
}

          下面是公用的代码部分，

package org.hr.integrity.crawl;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.util.Iterator;
import java.util.LinkedList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.MultiThreadedHttpConnectionManager;
import org.apache.commons.httpclient.NameValuePair;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;

public class Example {
	

	// 获得ConnectionManager，设置相关参数
	private static MultiThreadedHttpConnectionManager manager = new MultiThreadedHttpConnectionManager();
	private static int connectionTimeOut = 20000;
	private static int socketTimeOut = 10000;
	private static int maxConnectionPerHost = 5;
	private static int maxTotalConnections = 40;
	// 标志初始化是否完成的flag
	private static boolean initialed = true;//设置值为true，2018年6月7日 10:28:09
	static List<String> list=new LinkedList<String>();//总邮箱list
	
	// 初始化ConnectionManger的方法
	public static void SetPara() {
		manager.getParams().setConnectionTimeout(connectionTimeOut);
		manager.getParams().setSoTimeout(socketTimeOut);
		manager.getParams().setDefaultMaxConnectionsPerHost(
				maxConnectionPerHost);
		manager.getParams().setMaxTotalConnections(maxTotalConnections);
		initialed = true;
	}

	// 通过get方法获取网页内容
	public static String getGetResponseWithHttpClient(String url, String encode) {
		HttpClient client = new HttpClient(manager);
		if (initialed) {
			Example.SetPara();
		}
		GetMethod get = new GetMethod(url);
		get.getParams().setParameter("http.protocol.cookie-policy",CookiePolicy.BROWSER_COMPATIBILITY);//去除警告
		get.setFollowRedirects(true);
		String result = null;
		StringBuffer resultBuffer = new StringBuffer();
		try {
			client.executeMethod(get);
			// 在目标页面情况未知的条件下，不推荐使用getResponseBodyAsString()方法
			//String strGetResponseBody = post.getResponseBodyAsString();
			BufferedReader in = new BufferedReader(new InputStreamReader(get
					.getResponseBodyAsStream(), get.getResponseCharSet()));
			String inputLine = null;
			while ((inputLine = in.readLine()) != null) {
				resultBuffer.append(inputLine);
				resultBuffer.append("\n");
			}
			in.close();
			result = resultBuffer.toString();
			// iso-8859-1 is the default reading encode
			result = Example.ConverterStringCode(resultBuffer
					.toString(), get.getResponseCharSet(), encode);
		
		} catch (Exception e) {
			e.printStackTrace();
			result = "";
		} finally {
			get.releaseConnection();
			
		}
		return result;
	}
	
	
	@SuppressWarnings("resource")
	public static void addEmail(String email) throws Exception{
		  FileOutputStream fos = new FileOutputStream(new File("1_1email.txt"),true);  
		  fos.write(email.getBytes()); 
	}
	
	
	void printEmialList()throws IOException{
		
		FileOutputStream fos = new FileOutputStream(new File("email.txt"),true);  
		Iterator<String> it=list.iterator();
		System.out.println("生成email");
		while(it.hasNext()){
			String ema=it.next()+",";
			fos.write(ema.getBytes()); 
		}
		 fos.close();
	}
	
	
	public static String getPostResponseWithHttpClient(String url, String encode) {
		HttpClient client = new HttpClient(manager);
		if (initialed) {
			HttpClientExample.SetPara();
		}
		PostMethod post = new PostMethod(url);
		post.getParams().setParameter("http.protocol.cookie-policy",CookiePolicy.BROWSER_COMPATIBILITY);//去除警告
		post.setFollowRedirects(false);
		StringBuffer resultBuffer = new StringBuffer();
		String result = null;
		try {
			client.executeMethod(post);
			BufferedReader in = new BufferedReader(new InputStreamReader(post
					.getResponseBodyAsStream(), post.getResponseCharSet()));
			String inputLine = null;
			while ((inputLine = in.readLine()) != null) {
				resultBuffer.append(inputLine);
				resultBuffer.append("\n");
			}
			in.close();
			// iso-8859-1 is the default reading encode
			result = Example.ConverterStringCode(resultBuffer
					.toString(), post.getResponseCharSet(), encode);
			
		} catch (Exception e) {
			e.printStackTrace();
			result = "";
		} finally {
			post.releaseConnection();
		
		}
		return result;
	}
	
	public static  boolean getEmail(String body){
		boolean flag=false;
		try{
			Pattern p = Pattern.compile("[a-zA-Z0-9\\.\\-\\_]+?@[a-zA-Z0-9\\.\\-\\_]+\\.[a-zA-Z]{2,3}"); 
		   	Matcher m  =p.matcher(body);
	   	if(m.find()){
	   		flag=true;
	   		String email=m.group();
   		//System.out.println("SSSS:"+email);
   		if(!list.contains(email)){
   	    	list.add(email);
   	    	addEmail(email);//将得到的Email加入数据库，这里先加入文本里面
   				}
	   		}
		 }
		 catch(Exception e){
			 
			 e.printStackTrace();
		 }
    	return flag;
	}
	
	
	public static String getPostResponseWithHttpClient (String url,
			String encode, NameValuePair[] nameValuePair) throws Exception {
			HttpClient client = new HttpClient(manager);
			if (initialed) {//
				HttpClientExample.SetPara();//初始化ConnectionManger的方法
				}
			PostMethod post = new PostMethod(url);
			post.setRequestBody(nameValuePair);//将表单所有的值设置到PostMethod中
			post.getParams().setParameter(//去除警告
				"http.protocol.cookie-policy",CookiePolicy.BROWSER_COMPATIBILITY);
			post.setFollowRedirects(false);//设置此类是否应该自动执行http重定向
			String result = null;
			StringBuffer resultBuffer = new StringBuffer();
			try {
				client.executeMethod(post);    
			BufferedReader in = new BufferedReader(new InputStreamReader(post
					.getResponseBodyAsStream(), post.getResponseCharSet()));
			String inputLine = null;
			while ((inputLine = in.readLine()) != null) {
				resultBuffer.append(inputLine);
				resultBuffer.append("\n");
			}
			in.close();
			// iso-8859-1 is the default reading encode
			result = Example.ConverterStringCode(resultBuffer.toString(), post.getResponseCharSet(), encode);
			//System.out.println("result:"+result.length());
			if(getEmail(result)){//验证网址
				System.out.println("hasemailurl："+url);
			}
		} catch (Exception e) {
			e.printStackTrace();
			result = "";
		} finally {
			post.releaseConnection();
			
		}
		return result;
	}

	private static String ConverterStringCode(String source, String srcEncode,
			String destEncode) {
		if (source != null) {
			try {
				return new String(source.getBytes(srcEncode), destEncode);
			} catch (UnsupportedEncodingException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
				return "";
			}
		} else {
			return "";
		}
	}
	
}

              上面的代码是先爬取能获取到的页面，爬到的邮箱先放入一个list里面，爬完之后再放入到数据库中，下面是ConnectionUtil.java中插入到数据库的片段代码：

/**
	 * 向数据库表添加数据
	 * @auther yuyu
	 */
	public boolean addEmail(String em){
		
		boolean result = false;

		try {
			
			conn = DriverManager.getConnection(connStr);
			
			String sqlInset = "insert into hrintegrity.email(email) values(?)";
			
			PreparedStatement stmts = conn.prepareStatement(sqlInset);
			
			stmts.setString(1, em);
			
			//这里需要添加判断，email在表中是否存在
			
			int i = stmts.executeUpdate();//执行插入数据操作，返回影响的行数
			
			if(i == 1){
				
				result = true;
			}
			
		} catch (Exception e) {
			
			e.printStackTrace();
			
		}finally{
			
			try {
				
				conn.close();
				
			} catch (Exception e) {
				
				e.printStackTrace();
			}
			
		}
		
		
		
		return result;
	}

        上面就是一个获取51job的邮箱的完整代码，除了51job外，其它招聘网站的获取方式大同小异，如智联，不同点就是在Example.java中调用的方法不同，而且在采集数据的时候select的标签不一样，需要自己一个一个去尝试。

        有问题可以在留言中一起交流。

Yuruiyu
关注
专栏目录
使用Jsoup爬取招聘网站的信息
qq_29597217的博客
02-22 1136
文章目录使用Jsoup爬取网站的信息 使用Jsoup爬取网站的信息 先说下需求吧，又到了金三银四的时节，很多人都在忙碌的找工作，那么我将做一个对boss直聘的网站信息爬取的一个定时任务系统，该系统爬取当天最新发布的java工作、地点北京。并将爬取的内容生成Excel文件，发送至我的邮箱。 ...
python获取邮件并转为pdf
最新发布
Micrasoft007的博客
10-12 937
客户要求写一个程序能够自动登录他的邮箱，然后读取邮件中的求职者简历，并将该类型的邮件转为pdf以及获取关键信息和附件。
python爬取51job中hr的邮箱
12-25
本文实例为大家分享了python爬取51job中hr的邮箱具体代码，供大家参考，具体内容如下 #encoding=utf8 import urllib2 import cookielib import re import lxml.html from _ast import TryExcept from warnings import catch_warnings f = open('/root/Desktop/51-01.txt','a+') def read(city): url = 'http://www.51job.com/'+city cj = cookielib.Mozi
python最简单的爬取邮箱地址_如何使用python语言爬取51job中hr的邮箱
weixin_29651519的博客
02-04 537
本文实例为大家分享了python语言爬取51job中hr的邮箱具体代码，供大家参考，具体内容如下，希望对大家学习python语言有所帮助。#encoding=utf8importurllib2importcookielibimportreimportlxml.htmlfrom_astimportTryExceptfromwarningsimportcatch_warningsf...
爬取智联招聘信息
不凡De老五
12-27 1358
bs4解析网页； 数据存完xls文件； 爬取智联招聘网站
使用python爬虫爬取51job(静态网页)的招聘信息，保存到数据库和cvs表格，压缩，发送邮件
九层台
06-27 3733
0x01文件构架和实现功能 需要采集数据 需要sqlite 存储数据 表格存储数据(这里用cvs格式比较简单) 发送压缩再发送邮件 会从51job网站上爬取招聘工作的信息，保存到cvs表格文件中，和数据库中，然后把表格中的数据压缩，通过邮箱发送给别人。 运行输出 0x02注意点 1.采集数据动态网站和静态网站是不同的，静态网站用可以接收到html，直接用xpath解析。动态网站是用js解析的 ...
LinkedIn Email Finder – PIPILEADS-crx插件
04-02
销售专业人员市场营销专业人员业务开发专业人员招聘人员/人才获取专业人员（HR）企业主/企业家/创始人高管/高层管理人员。 LinkedIn电子邮件查找器工具的主要区别是仅提供经过验证的电子邮件ID。 没有生成或猜测的...
HR数据库文档[收集].pdf
10-11
此外，还有一个`user_info`表，用于存储更详细的人力资源信息，如应聘职位（`Res_post`）、邮箱（`Res_email`）、电话（`Res_phone`）等。 2. **招聘管理**： 招聘管理模块涉及到职位发布与应聘者信息的管理。这里...
HR常用网站收集（几百个）
05-10
1、收集几百个HR常用网站，供给大家查找和搜寻 2、HR动态类，管理类，资讯类，战略类，Hr论谈，外包，公司猎头等、博客，资讯类HR常用网站
程序员如何获取招聘信息
Java技术江湖
08-25 5591
招聘网站： 这年头互联网公司盛行，很多岗位都是技术岗位，这种岗位对学生的要求和其他岗位不太一样。所以我们先来说说一般情况下，有哪些渠道获取招聘信息，主要是指那种面向所有公司的招聘网站。 1 应届生求职网 评分：2.5星 这个网站可以说是无所不包，不管什么样的岗位都有，什么样的公司也都有，当然全部都是针对校园招聘的。所以可想而知，要找到符合你目标公司和目...
java爬取智联招聘职位信息
RonaldoWang Blog
03-11 3770
第一次写爬虫，案例比较简单，就在智联招聘网站上爬取职位信息。技术点:IO流，集合，Jsoup使用，以及前端的知识代码如下:package com.wty.utils;import java.io.BufferedReader;import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader
Python入门爬虫1 腾讯招聘网站岗位爬取
qq_43501509的博客
03-31 2026
作为一个热爱学习的社会主义接班人，接下来一段时间我将持续更新python爬虫这一块的内容 在博客里将会持续并认真的记录我的学习过程 首先介绍一下我的学习环境: win10+Anaconda+Pycharm，默认会一些python的基础知识 希望我的博客能够给你带来帮助 - ̗̀(๑ᵔ⌔ᵔ๑) 下面进入正题： 爬取网站链接：https://hr.tencent.com/social.php 过程主要...
------爬取51job招聘网站
qq_41299071的博客
06-04 1502
import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from myproject.items import JobItem # from w3lib.html import remove_tags import datetime imp...
Java使用Jsoup包批量爬取智联招聘上招聘信息
ZK教皇的博客
06-04 2394
    Jsoup是一个Java的解析器，可以快速解析HTML地址，获取HTML文本内容，操作简单，爬取数据的能力强大。在此，就分享一个通过Jsoup，在线爬取智联招聘上招聘信息然后保存到本地的 Java程序，程序遍历多个多个城市的多个工作岗位，可自行修改城市名和岗位名。import java.io.File; import java.io.FileNotFoundException; impo...
爬取某招聘网站的招聘信息（猎聘）
Voccoo的博客
08-30 3745
这该找工作了，俗话说的胡奥，金九银十嘛。一个一个招聘信息找着看，有点麻烦。所以心动了下，不如把我想找的信息都爬取下来，直接sql语句查询所有相关信息，多方便，是吧~ 该内容主要是从我上篇博文：https://blog.csdn.net/qq_38044574/article/details/82111035 修改而来，这里主要提供详细更改的地方 希望对看官有所帮助。 如果有错误，欢迎指出。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值