python--爬虫51job(3.2)

最新推荐文章于 2022-01-01 15:19:47 发布
最新推荐文章于 2022-01-01 15:19:47 发布
阅读量690 收藏 2
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40210633/article/details/83983499
版权
这篇博客主要介绍了如何使用Python的正则表达式精细化提取51job网站上的职位信息，包括Java和Python相关的职位，以及地点和薪资。核心代码展示了针对不同薪资格式的匹配规则，并提到对'面议'情况的处理遗漏。
摘要由CSDN通过智能技术生成

这里是做另一个任务----也就是将正则表达式的内容细化，使提取的内容更精细。

下面是核心代码：

def get(html):
    items=(0,0,0,0,0,0,0)
    reg = re.compile(r'class="t1 ">.*?<a target="_blank" title=".*?(java|Java|JAVA|python|Python|Python).*?".*? <span class="t3">.*?(北京|上海|广州|深圳).*?</span>.*?<span class="t4">((\d+\.?\d?)-(\d+\.?\d?)(.)/(.)|(\d+\.?\d?)(.)/(.)).*?<span class="t5">.*?</span>',re.S)
    items=re.findall(reg,html)
    
    #print(items)
    return items


这里重点是正则表达式：

reg = re.compile(r'class="t1 ">.*?<a target="_blank" title=".*?(java|Java|JAVA|python|Python|Python).*?".*? <span class="t3">.*?(北京|上海|广州|深圳).*?</span>.*?<span class="t4">((\d+\.?\d?)-(\d+\.?\d?)(.)/(.)|(\d+\.?\d?)(

最低0.47元/天 解锁文章
哈哈哈也不行吗
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python---爬虫51job（1）
qq_40210633的博客
10-29 640
这学期学的python，老师每次在上课前会布置作业，因此再次做下梳理，巩固知识点 ①使用python编程实现上述过程（访问https://www.51job.com/，在搜索框输入关键字：python java，用右边的加号选择北京、上海、广州、深圳四个城市），不需要使用socket编程来做，使用书上提到的request库或者其它库都可以。） 这个问题是使用urllib.request和req...
Python-摩拜单车爬虫
08-10
【Python-摩拜单车爬虫】是一个利用Python编程语言实现的网络爬虫项目，主要目标是抓取摩拜单车微信小程序的数据，为共享单车的相关分析提供数据支持。在Python开发领域，Web爬虫是一种常见的技术，它能自动化地从...
Python-51job爬虫
真正的大师，永远都怀着一颗学徒的心。
06-04 1918
文章目录前言一、模块使用二、数据的爬取与建立url列表1.获取所有网页详情页链接2.获取详情页html源码并筛选我们需要的信息3.提取信息进行excel本地保存1.Excel结果展示总结 前言 本次案例是爬取51job网站的职位信息，如有错误，还望指正，转载请注明出处。 本次爬取网址：点击此处 提示：以下是本篇文章正文内容，下面案例可供参考 一、模块使用 1.本次用到的模块一共有四个 import openpyxl import bs4 import requests as r from seleni
51JOB网站爬虫
qq_43183340的博客
11-26 813
关于51job网站的爬虫一、原由二、查看51job网站内容三、部分代码展示四、效果展示 一、原由 学校里有要求找 二、查看51job网站内容 三、部分代码展示 import re import urllib import xlwings as xw from bs4 import BeautifulSoup from urllib import request, parse import time college = "环境类" aim_job = {"环境工程"} url = "https://s
Python爬虫51job
qq_44941395的博客
09-03 1636
Python爬虫51job 最近闲的没事来爬个51job，爬取了一千条数据。 结果如图： 暂时只是将里面的职位爬取出来放到了mysql数据库，后续再做其他更改。 方法也很简单，就获取网页，解析网页，存储数据到数据库。 1.获取网页 在51job网页中，具体搜索网址如下： https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html 在这个网址中，前面的000000,000000,0000,00,9,99分别是 ...
Python-weibospider微博爬虫
08-10
Python-weibospider微博爬虫是一个利用Python编程语言实现的针对微博数据进行抓取和分析的工具。在Web爬虫领域，Python因其丰富的库支持和简洁的语法而被广泛使用。这个项目，weibo_spider-master，是专门设计来爬取...
Python-Python3爬虫实战JS加解密逆向教程
08-10
本教程"Python-Python3爬虫实战JS加解密逆向教程"聚焦于如何处理JavaScript加密和混淆的数据，以便在爬虫过程中获取有效信息。这通常涉及到对前端JavaScript代码的理解、逆向工程以及加解密算法的应用。下面，我们将...
Python-pythonspiderPYTHON蜘蛛爬虫框架
08-10
"Python-spiderPYTHON蜘蛛爬虫框架"可能指的是一个使用Python编写的爬虫框架教程或者项目模板，旨在帮助初学者快速上手爬虫开发。Python中有很多流行的爬虫框架，如Scrapy、BeautifulSoup和Requests等，它们各有特色...
python-crawler-python爬虫
最新发布
06-28
学习 Python 爬虫需要掌握以下几个方面的知识：首先，需要了解 Python 基础知识，包括变量、数据类型、控制结构、函数、模块等。 Python 是一种易于学习的语言，对于初学者来说，学习 Python 基础知识并不困难。其次...
51Job数据爬虫
02-01
可以爪取51Job的招聘信息 用VB写的,初次写爬虫,请多多包含
51job爬虫源码
12-12
#coding=utf-8 import requests import re from selenium import webdriver url = 'https://search.51job.com/list/020000,000000,0000,00,9,99,pmc,2,%d.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%,0&radius=-1&ord_field=0&confirmdate=9&fromType;=&dibiaoid=0&address;=&line;=&specialarea=00&from;=&welfare;=' driver = webdriver.Chrome()
python实现51JOB网站职位统计抓取并用matplotlib展示
11-15
2016年的时候，朋友正在运营自己公司，想为了公司更具备前瞻性，帮着弄了一个从招聘网站上获取数据的python脚本，将每天取一次并存在数据库中，主要抓取几个大城市计算机软件相关专业的招聘数量。 这两天没事试了试python图表库，用到了从16年开始到现在抓到的这些数据，现在一起发出来分享。 包中包括数据库表结构，python实现的数据抓取代码，以及python利用matplotlib生成线型分析图。
51job数据采集爬虫 - 51Job网络爬虫源码
12-18
说明 采集数据前请先配置数据库文件(在程序目录下的 db.mdb) 打开数据库(db.mdb),打开表 t_config 输入数据库用户名,密码,数据库地址,数据库名称。。。
Python爬虫抓51job
qq_40287924的博客
02-22 439
~~~ 在单机上我们使用三种并发方式： 多线程(threading) 多进程(multiprocessing) 协程(gevent) 本次使用多进程 抓取51job上的招聘信息，包含岗位名称和链接、公司名称和链接、地点还有薪资啦~ 关键词搜索:Python、上海 得到一个url: ‘http://search.51job.com/jobsearch/search_resul...
51job爬虫
weixin_30527323的博客
05-08 305
51job爬虫 　　项目使用Python3.7爬取前程无忧对应关键字的招聘，保存到mongodb，爬取下来的数据,可分析出目前互联网的近况,可统计到每个招聘岗位有多少，每个岗位的薪资分布情况 　　github地址：https://github.com/HowName/51job 统计结果图，java还是老大哥 爬取效果图 mongodb数据图 使用到的库(第三方库建议使...
51job-爬虫
weixin_40594668的博客
07-10 450
import requests import urllib3 from fake_useragent import UserAgent from lxml import etree import csv import time urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) def get_html(page, keyword, header): url = f'https://search.51job.co
Python爬虫系列-51job爬虫（二）
分享数据分析、数学、Python编程方面的知识
03-19 634
利用for循环爬取多页数据并导出到Excel表格。#导入一些工具包 import requests from lxml import etree from pandas import DataFrame import pandas as pd jobInfoAll=DataFrame() #确定一个对象，即网址，关键词：数据分析师 for i in range(1,6): url="ht...
爬虫----51job信息爬取
hac_kill_you的博客
01-01 2246
文章目录直接上代码结果展示 直接上代码 import pandas as pd import matplotlib.pyplot as plt from selenium.webdriver import Chrome from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options import time import csv url = r'https://login.51
python-网络爬虫讲义
05-14
Python-网络爬虫讲义是一本介绍网络爬虫基本知识和实现方法的书籍。网络爬虫是一种自动化程序，通过模拟人类浏览网页的行为，在网络上抓取数据的一种方式。在当前互联网数据的爆炸式增长的时代，网络爬虫成为了人们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值