Python-51job爬虫升级版-多线程

最新推荐文章于 2022-11-02 17:07:18 发布
最新推荐文章于 2022-11-02 17:07:18 发布
阅读量412 收藏 5
点赞数 4
分类专栏： python 文章标签： python 爬虫 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47716438/article/details/117675424
版权

文章目录

前言

本次案例是爬取51job网站的职位信息升级版
第一版入门请点击查看
如有错误，还望指正，转载请注明出处。
本次爬取网址：点击此处

提示：以下是本篇文章正文内容，下面案例可供参考

一、模块使用

1.本次升级版用到的模块一共有五个

import requests as r
import bs4
import re
import openpyxl
import threading

具体的模块详细使用将在下面列出，有需要可自行了解：
re模块正则表达式
HTML标签处理模块：bs4.beautifulsoup
Python—requests模块详解
openpyxl处理excle表格详解
本文的小核心 : threading模块

二、详解

1.父页面与子页面

注意：这里的父页面是指你可以看到所有的与网络安全相关的职位，并附带简单介绍：在这里插入图片描述
子页面则是你想查看职位的详细信息：
在这里插入图片描述

2.思路分析与代码

首先我们需要确认下目的：将该职位所有父页的子页面的详细信息爬出
1.首先需要获取到父页的源代码
2.从获取到的源码中找出子页所在的标签位置
3.将子页面url找出并形成列表
确认好思路，开始上代码：坐稳扶好，耐心观看。

1）：首先我们既然要获取父页源码，就需要一个获取源码的函数，所以第一步：

代码如下（示例）：

import requests as r
import bs4
import re
import openpyxl
import threading

#步骤一

h = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/87.0"}
#url = ()
def get_html(url):
	response = r.get(url,headers = h)  #这里的r为requests，在调用模块时定义
	response.encoding = "gbk"		   #编码为“国标k”
	return response.text			   #返回源码

到这里一个获取源码模块就写好了，只要往里传一个网址就可以！

2）：调用第一步函数，获取源码后进行子页url查找并形成列表

import requests as r
import bs4
import re
import openpyxl
import threading

#步骤一

h = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/87.0"}
#url = ()
def get_html(url):
	response = r.get(url,headers = h)  #这里的r为requests，在调用模块时定义
	response.encoding = "gbk"		   #编码为“国标k”
	return response.text			   #返回源码
	
#步骤二

def get_urllist(jobname):				#定义函数 get_urllist()
    urllist = []						#一个空列表用于接收子页面url
    i = 0								
    while i < 30:						#这里进行页面的循环 i代表当前递增页面，30这个参数代表总页面
        i += 1							#自增
        
        #下面这里调用**步骤一**的函数获取到源码。该url中有两个{}，为两个变量，jobname代表要搜索的工作名字，i代表页数。
        urlinfo = get_html("https://search.51job.com/list/010000,000000,0000,00,9,99,{},2,{}.html".format(jobname,i))				
		
		#这里则用到了正则表达式对源码进行检索，因为该页面的源码用了模糊处理，所以比较特殊。
		#其中\\代表输出一个\，"."{6,13}代表任意字符6位到13位,\d{9}，代表9位数字
        j = re.findall(r"https:\\/\\/jobs.51job.com\\/.{6,13}\\/\d{9}.html",urlinfo)
        
        for q in j:    		#对检索出来的模糊处理源码进行去模糊
            urllist.append(q.replace("\\","")) 				#将\\ 替换为空
    #print(urllist)
    return urllist											#返还完美的子页面url

至此，30页的子页链接都放在urllists列表里了。我们可以进行下一步的操作了

3）： 从子页html源码中筛选我们需要的信息

思路： 由于我们前两步已经获取到了各个子页的url，所以可以利用"get_html"函数返回html源码，利用浏览器审查，逐一找到需要信息的标签并筛选出来，最后找到我们需要文本信息，放到列表中返回。

代码如下（示例）：

import requests as r
import bs4
import re
import openpyxl
import threading

#步骤一

h = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/87.0"}
#url = ()
def get_html(url):
	response = r.get(url,headers = h)  #这里的r为requests，在调用模块时定义
	response.encoding = "gbk"		   #编码为“国标k”
	return response.text			   #返回源码
	
#步骤二

def get_urllist(jobname):				#定义函数 get_urllist()
    urllist = []						#一个空列表用于接收子页面url
    i = 0								
    while i < 30:						#这里进行页面的循环 i代表当前递增页面，30这个参数代表总页面
        i += 1							#自增
        
        #下面这里调用**步骤一**的函数获取到源码。该url中有两个{}，为两个变量，jobname代表要搜索的工作名字，i代表页数。
        urlinfo = get_html("https://search.51job.com/list/010000,000000,0000,00,9,99,{},2,{}.html".format(jobname,i))				
		
		#这里则用到了正则表达式对源码进行检索，因为该页面的源码用了模糊处理，所以比较特殊。
		#其中\\代表输出一个\，"."{6,13}代表任意字符6位到13位,\d{9}，代表9位数字
        j = re.findall(r"https:\\/\\/jobs.51job.com\\/.{6,13}\\/\d{9}.html",urlinfo)
        
        for q in j:    		#对检索出来的模糊处理源码进行去模糊
            urllist.append(q.replace("\\","")) 				#将\\ 替换为空
    #print(urllist)
    return urllist											#返还完美的子页面url

#步骤三
def get_html_info(html):
    try:								#try与except为异常捕获：执行try里的代码，如果报错，执行except
        jobname = []
        jobmoney = []
        comname = []
        jobjy = []
        jobfl = []
        jobneed = []
        cominfo = []

        
        soup = bs4.BeautifulSoup(html,"html.parser")
        jn = soup.find("div",class_="cn")
        jobname.append(jn.h1.text)

        jm = soup.find("div",class_="cn")
        jobmoney.append(jm.strong.text)

        #print(jobname,jobmoney)

        cm = soup.find("p",class_="cname")
        comname.append(cm.a.text)

        jj = soup.find("p",class_="msg ltype")
        #print(jobjy.replace(" |"," "))
        jobjy.append(jj.text.replace("\xa0\xa0|"," "))

        jf = soup.findAll("span",class_=("sp4"))
        j = ""
        for i in jf:
            j += i.text + " "
        jobfl.append(j)
        

        jneed = soup.find("div",class_="bmsg job_msg inbox")
        jobneed.append(jneed.p.text)
        #print(jobneed)

        ci = soup.find("div",class_="tmsg inbox")
        cominfo.append(ci.text)
        #print(cominfo)

        sum = jobname + jobmoney + comname + jobjy + jobfl + jobneed + cominfo
        #print(sum)
        return sum
    except:										#如果报错，return空值
        return []

3.进行多线程执行函数并添加到Excel表

思路： 终于来到收尾的一步，这里也是我们调用整个代码执行的总步骤，可以说上面写的函数都是在这里被依次调用，本次主要利用openpyxl来进行保存，利用threading进行多线程并调用之前写的函数进行配合，废话不多说上代码。


import requests as r
import bs4
import re
import openpyxl
import threading

#步骤一

h = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/87.0"}
#url = ()
def get_html(url):
	response = r.get(url,headers = h)  #这里的r为requests，在调用模块时定义
	response.encoding = "gbk"		   #编码为“国标k”
	return response.text			   #返回源码
	
#步骤二

def get_urllist(jobname):				#定义函数 get_urllist()
    urllist = []						#一个空列表用于接收子页面url
    i = 0								
    while i < 30:						#这里进行页面的循环 i代表当前递增页面，30这个参数代表总页面
        i += 1							#自增
        
        #下面这里调用**步骤一**的函数获取到源码。该url中有两个{}，为两个变量，jobname代表要搜索的工作名字，i代表页数。
        urlinfo = get_html("https://search.51job.com/list/010000,000000,0000,00,9,99,{},2,{}.html".format(jobname,i))				
		
		#这里则用到了正则表达式对源码进行检索，因为该页面的源码用了模糊处理，所以比较特殊。
		#其中\\代表输出一个\，"."{6,13}代表任意字符6位到13位,\d{9}，代表9位数字
        j = re.findall(r"https:\\/\\/jobs.51job.com\\/.{6,13}\\/\d{9}.html",urlinfo)
        
        for q in j:    		#对检索出来的模糊处理源码进行去模糊
            urllist.append(q.replace("\\","")) 				#将\\ 替换为空
    #print(urllist)
    return urllist											#返还完美的子页面url

#步骤三 ：过滤出我们想要的信息

def get_html_info(html):
    try:								#try与except为异常捕获：执行try里的代码，如果报错，执行except
        jobname = []
        jobmoney = []
        comname = []
        jobjy = []
        jobfl = []
        jobneed = []
        cominfo = []

        
        soup = bs4.BeautifulSoup(html,"html.parser")
        jn = soup.find("div",class_="cn")
        jobname.append(jn.h1.text)

        jm = soup.find("div",class_="cn")
        jobmoney.append(jm.strong.text)

        #print(jobname,jobmoney)

        cm = soup.find("p",class_="cname")
        comname.append(cm.a.text)

        jj = soup.find("p",class_="msg ltype")
        #print(jobjy.replace(" |"," "))
        jobjy.append(jj.text.replace("\xa0\xa0|"," "))

        jf = soup.findAll("span",class_=("sp4"))
        j = ""
        for i in jf:
            j += i.text + " "
        jobfl.append(j)
        

        jneed = soup.find("div",class_="bmsg job_msg inbox")
        jobneed.append(jneed.p.text)
        #print(jobneed)

        ci = soup.find("div",class_="tmsg inbox")
        cominfo.append(ci.text)
        #print(cominfo)

        sum = jobname + jobmoney + comname + jobjy + jobfl + jobneed + cominfo
        #print(sum)
        return sum
    except:										#如果报错，return空值
        return []

#步骤四 ：进行多线程并保存为Excel文档

def save_info(url):        			#为多线程执行的函数
    html = get_html(url)			#获取源码
    text = get_html_info(html)		#筛选出源码中我们需要的信息
    text.append(url)				#text列表中的最后地方添加url地址
    ws.append(text)					#添加到ws中
    
    
if __name__ == "__main__":			#总执行！
    urllist = get_urllist("网络安全")		#首先获取到"网络安全"工作的所有子页面url并形成列表
    #print(urllist)
    

    wb = openpyxl.Workbook()				# 获取工作簿 就是一个excle层面的对象，在获取工作簿的同时已经创建了一个默认的工作表
    ws = wb.active							# 激活
    title = ["职位","工资","公司名称","经验","福利","工作需要","公司简介"]     # 先创建一个title，方便我们Excel表的查看。
    ws.append(title)						# 添加title
    
    
    for url in urllist:						# 从获取到的子页面url中逐个提取url，
        t = threading.Thread(target=save_info,args=(url,))  # target后接执行函数，args后接传值  尤其注意threading里args必须是元组形式
        t.start()							# 开启多线程
    wb.save("haha-max.xlsx")   				# 结束后保存为haha-max.xlsx

到此直接运行，我们就可以轻松爬取到所有的有关网络安全职位的信息了，由于使用了多线程，我在今天查询时是一共一千思百多条，爬了4分钟(快的一批，与网速有关)。

1.Excel结果展示

在这里插入图片描述

总结

基本每一条代码都有注释，没理解可以多看两遍。我也试了两天才搞好，所以不用气馁。
这次案例是上次案例的升级版，不得不说多线程确实nb，速度根本不是一个档次
如果你能看到这里并且爬虫成功，我对你的耐心感到敬佩。

如有错误，还望指正，如果能帮助到你，不胜荣幸。

辛徳橘子丶
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
51job开启多线程迅速抓取信息，速度提升十倍！！！
Yuka_bro
01-23 203
# 51job多线程 import requests import chardet from bs4 import BeautifulSoup import csv from openpyxl import Workbook import random import time import threading from selenium import webdriver import time import xlwt import csv import pandas as pd from selenium.
爬虫基础2：多线程爬取51job职位
qq_43906274的博客
04-17 309
学习记录： 1.requests思维脑图，记录基础用法 2.python多线程threading模块 3.队列模块Queue # -*- coding=utf-8 -*- import time import requests import threading from multiprocessing import Queue from lxml import etree class Cr...
定义函数多线程爬取51job
南璃
10-23 202
1、导入需要使用的模块 import requests import chardet from bs4 import BeautifulSoup import csv from openpyxl import Workbook 2、定义函数抓取数据 def getOnePageInfo(url): # 访问链接 res=requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Windows NT
51job招聘数据python爬虫
weixin_43827767的博客
05-14 301
1.引入库 代码如下（示例）： from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDrive
Python-基于Python37的简单的爬虫Demo
08-12
7. **多线程或异步请求**：为了提高爬取效率，可以使用Python的`threading`库实现多线程爬取，或者使用`asyncio`库进行异步I/O操作。但需要注意的是，大量并发请求可能对目标网站造成压力，应遵循爬虫道德规范，合理...
python3 51job多进程爬取 数据可视化
11-11
在本项目中，我们主要探讨的是使用Python3进行51job网站的数据爬取，并通过多进程提高爬取效率，最后将获取到的数据进行可视化展示。这个项目涉及到的技术栈包括Python的基础编程、Flask框架的使用、多进程爬虫以及...
python，python-scheduling.rar
最新发布
06-18
在Python中，调度是指安排任务在特定时间执行，这通常涉及到定时器、事件循环和线程等概念。`python-scheduling.rar`这个压缩包可能包含了一个关于Python定时任务调度的资源集合，比如代码示例、教程或库的文档。 ...
网络蜘蛛-51job招聘信息抓取
12-05
【网络蜘蛛-51job招聘信息抓取】 网络蜘蛛，也称为网络爬虫或网页抓取器，是一种自动浏览互联网并提取网页信息的程序。在这个项目中，我们的目标是抓取51job网站上的招聘信息，这涉及到对网页内容的解析、过滤和...
python爬取51job中hr的邮箱
09-21
本文将详细介绍如何使用Python爬取51job网站上人力资源（HR）的邮箱地址，帮助读者理解网络爬虫的基本原理和技术实现。 #### 一、准备工作 在正式开始编写爬虫之前，我们需要准备一些基本的工具和库： - **Python...
51job爬虫源码
12-12
#coding=utf-8 import requests import re from selenium import webdriver url = 'https://search.51job.com/list/020000,000000,0000,00,9,99,pmc,2,%d.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%,0&radius=-1&ord_field=0&confirmdate=9&fromType;=&dibiaoid=0&address;=&line;=&specialarea=00&from;=&welfare;=' driver = webdriver.Chrome()
Scrapy前程无忧爬虫（可用）有问题可私信.rar
05-24
Scrapy前程无忧爬虫（可用）有问题可私信，保存到Mysql数据库
python爬取前程无忧_Python爬虫获取51job的51job代码,python,抓取,前程无忧
weixin_34483980的博客
02-10 1183
为了结果直观，做的简单网页地址：https://search.51job.com/list/180200,000000,0000,00,9,99,%25E6%25AD%25A6%25E6%25B1%2589,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm...
python爬取51job网
Dream____Fly
08-16 1102
废话不说了，直接展示代码！！！ import urllib.request from bs4 import BeautifulSoup import re import time ''' 项目目标：51job爬取职业，地区，薪资，工资，公司， 首先根据url爬取整个网页 其次根据爬取的页面获取所要的数据 最后用字典一一保存，最后保存在文件夹中 ''' class python_job(): ...
[python爬虫学习] 项目1-爬取51job职位数据 多线程、多进程、pymysql、10万条数据
weixin_44753691的博客
06-03 1130
[python爬虫学习] 项目1-爬取51job职位数据 多线程、多进程、pymysql、10万条数据 有关openpyxl的使用请看: python中使用openpyxl操作Excel的常用方法及案例. 1.直接上代码，然后咱们一步一步优化 import requests from re import findall from json import loads import time import os import openpyxl def get_one_page(page, city_cod
python爬虫练习2--招聘网站数据爬虫
bb8886的博客
11-02 538
招聘网站的数据 主要有jobName,details,company,company_type,job_type,salary
Python数据分析与爬虫
05-09
本课程主要讲解Python基础、数据分析扩展包Numpy、pandas、matplotlib，Python读取MySQL数据，Python爬虫及Scrapy框架，无监督机器学习算法聚类分析等，以及案例：互联网金融行业客户价值分析等。
Python爬虫51job
qq_44941395的博客
09-03 1626
Python爬虫51job 最近闲的没事来爬个51job，爬取了一千条数据。 结果如图： 暂时只是将里面的职位爬取出来放到了mysql数据库，后续再做其他更改。 方法也很简单，就获取网页，解析网页，存储数据到数据库。 1.获取网页 在51job网页中，具体搜索网址如下： https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html 在这个网址中，前面的000000,000000,0000,00,9,99分别是 ...
Python-51job爬虫
真正的大师，永远都怀着一颗学徒的心。
06-04 1914
文章目录前言一、模块使用二、数据的爬取与建立url列表1.获取所有网页详情页链接2.获取详情页html源码并筛选我们需要的信息3.提取信息进行excel本地保存1.Excel结果展示总结 前言 本次案例是爬取51job网站的职位信息，如有错误，还望指正，转载请注明出处。 本次爬取网址：点击此处 提示：以下是本篇文章正文内容，下面案例可供参考 一、模块使用 1.本次用到的模块一共有四个 import openpyxl import bs4 import requests as r from seleni
python多线程爬虫大作业-Python多线程爬虫简单示例
05-16
好的，下面是一个简单的Python多线程爬虫示例： ```python import requests import threading from queue import Queue # 定义一个全局变量用来存储爬取到的数据 data = [] # 定义一个线程锁，防止多个线程同时...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辛徳橘子丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值