Python爬虫实战之爬取51job详情（1）

最新推荐文章于 2024-05-01 22:08:22 发布
最新推荐文章于 2024-05-01 22:08:22 发布
阅读量6.4k 收藏 83
点赞数 1
分类专栏： # 爬虫项目 文章标签： 51同城
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43746433/article/details/90490227
版权

爬虫之爬取51同城详情并生成Excel文件的完整代码:
爬取的数据清洗地址https://blog.csdn.net/weixin_43746433/article/details/91346274
数据分析与可视化地址：https://blog.csdn.net/weixin_43746433/article/details/91349199

import urllib
import re, codecs
import time, random
import requests
from lxml import html
from urllib import parse
import xlwt

key = '大数据'
key = parse.quote(parse.quote(key))
headers = {'Host': 'search.51job.com',
           'Upgrade-Insecure-Requests': '1',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

def get_links(i):
    url = 'http://search.51job.com/list/000000,000000,0000,00,9,99,' + key + ',2,' + str(i) + '.html'
    r = requests.get(url, headers, timeout=10)
    s = requests.session()
    s.keep_alive = False
    r.encoding = 'gbk'
    reg = re.compile(r'class="t1 ">.*? <a target="_blank" title=".*?" href="(.*?)".*? <span class="t2">', re.S)
    reg1 = re.compile(r'class="t1 ">.*? <a target="_blank" title="(.*?)".*?<span class="t2"><a target="_blank" title="(.*?)" href="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*? <span class="t5">(.*?)</span>',re.S)  # 匹配换行符
    links = re.findall(reg, r.text)
    return links


# 多页处理，下载到文件
def get_content(link):
    r1 = requests.get(link, headers, timeout=10)
    s = requests.session()
    s.keep_alive = False
    r1.encoding = 'gbk'
    t1 = html.fromstring(r1.text)
    try:
        job = t1.xpath('//div[@class="tHeader tHjob"]//h1/text()')[0].strip()
        company = t1.xpath('//p[@class="cname"]/a/text()')[0].strip()
        print('工作：', job)
        print('公司：', company)
        area = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[0].strip()
        print('地区', area)
        workyear = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[1].strip()
        print('工作经验', workyear)
        education = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[2].strip()
        print('学历:', education)
        people = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[3].strip()
        print('人数', people)
        date = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[4].strip()
        print('发布日期', date)
        # date = t1.xpath('//div[@class="tBorderTop_box"]/div[@class="bmsg job_msg inbox"]/text()')
        # print('职位信息', date)
        describes = re.findall(re.compile('<div class="bmsg job_msg inbox">(.*?)div class="mt10"', re.S), r1.text)
        describe = describes[0].strip().replace('<p>', '').replace('</p>', '').replace('<p>', '').replace('<span>', '').replace('</span>', '').replace('\t', '').replace('<', '').replace('<br>', '').replace('\n', '').replace('&nbsp;','')
        print('职位信息', describe)
        describes1 = re.findall(re.compile('<div class="tmsg inbox">(.*?)</div>', re.S), r1.text)
        company0 = describes1[0].strip().replace('<p>', '').replace('</p>', '').replace('<p>', '').replace('<span>','').replace('</span>', '').replace('\t', '').replace('&nbsp;','').replace('<br>', '').replace('<br>', '')
        print('公司信息', company0)
        companytypes = t1.xpath('//div[@class="com_tag"]/p/text()')[:2]
        company1 = ''
        for i in companytypes:
            company1 = company1 + ' ' + i
        print('公司信息', company1)
        salary=t1.xpath('//div[@class="cn"]/h1/strong/text()')
        salary = re.findall(re.compile(r'div class="cn">.*?<strong>(.*?)</strong>',re.S),r1.text)[0]
        print('薪水',salary)
        labels = t1.xpath('//div[@class="jtag"]/div[@class="t1"]/span/text()')
        label = ''
        for i in labels:
            label = label + ' ' + i
        print('待遇',label)
        item=[]
        item.append(str(company))
        item.append(str(job))
        item.append(str(education))
        item.append(str(area))
        item.append(str(salary))
        item.append(str(label))
        item.append(str(workyear))
        item.append(str(people))
        item.append(str(date))
        item.append(str(describe))
        item.append(str(company0))
        item.append(str(company1))
        print(item)
    except:
        pass

    return item
def run():
    workbook = xlwt.Workbook(encoding='utf-8')
    sheet1 = workbook.add_sheet('message', cell_overwrite_ok=True)
    row0 = ["公司", "岗位", "学历", "地区","薪水", "待遇","工作经验", "需求人数", "发布日期", "职位信息", "公司介绍", "公司信息及人数"]
    for j in range(0, len(row0)):
        sheet1.write(0, j, row0[j])
    try:
        i=0
        for a in range(1,4): ##控制页数
            print('正在爬取第{}页信息'.format(a))
            try:
                # time.sleep(random.random()+random.randint(1,5))
                links= get_links(a)

                try:
                    for link in links:
                        time.sleep(random.random() + random.randint(0, 1))
                        #i=i+1
                        print(i)
                        print(link)
                        item=get_content(link)
                        sheet1.write(i + 1, 0, item[0])
                        sheet1.write(i + 1, 1, item[1])
                        sheet1.write(i + 1, 2, item[2])
                        sheet1.write(i + 1, 3, item[3])
                        sheet1.write(i + 1, 4, item[4])
                        sheet1.write(i + 1, 5, item[5])
                        sheet1.write(i + 1, 6, item[6])
                        sheet1.write(i + 1, 7, item[7])
                        sheet1.write(i + 1, 8, item[8])
                        sheet1.write(i + 1, 9, item[9])
                        sheet1.write(i + 1, 10, item[10])
                        sheet1.write(i + 1, 11, item[11])
                        i = i + 1
                except:
                    continue
            except IndexError:
                pass

    except IndexError:
        pass
    workbook.save('51job.xls')
run()

运行如下：

在这里插入图片描述
生成的Excel文件：
在这里插入图片描述
爬虫之爬取51同城详情生成Csv文件代码如下：

import re
import time, random
import requests
from lxml import html
from urllib import parse
import xlwt
import pandas as pd

key = '大数据'
key = parse.quote(parse.quote(key))
headers = {'Host': 'search.51job.com',
           'Upgrade-Insecure-Requests': '1',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

def get_links(i):
    url = 'http://search.51job.com/list/000000,000000,0000,00,9,99,' + key + ',2,' + str(i) + '.html'
    r = requests.get(url, headers, timeout=10)
    s = requests.session()
    s.keep_alive = False
    r.encoding = 'gbk'
    reg = re.compile(r'class="t1 ">.*? <a target="_blank" title=".*?" href="(.*?)".*? <span class="t2">', re.S)
    reg1 = re.compile(r'class="t1 ">.*? <a target="_blank" title="(.*?)".*?<span class="t2"><a target="_blank" title="(.*?)" href="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*? <span class="t5">(.*?)</span>',re.S)  # 匹配换行符
    links = re.findall(reg, r.text)
    return links


# 多页处理，下载到文件
def get_content(link):
    r1 = requests.get(link, headers, timeout=10)
    s = requests.session()
    s.keep_alive = False
    r1.encoding = 'gbk'
    t1 = html.fromstring(r1.text)
    try:
        job = t1.xpath('//div[@class="tHeader tHjob"]//h1/text()')[0].strip()
        companyname = t1.xpath('//p[@class="cname"]/a/text()')[0].strip()
        print('工作：', job)
        print('公司：', companyname)
        area = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[0].strip()
        print('地区', area)
        workyear = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[1].strip()
        print('工作经验', workyear)
        education = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[2].strip()
        print('学历:', education)
        require_people = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[3].strip()
        print('人数', require_people)
        date = t1.xpath('//div[@class="tHeader tHjob"]//p[@class="msg ltype"]/text()')[4].strip()
        print('发布日期', date)
        describes = re.findall(re.compile('<div class="bmsg job_msg inbox">(.*?)div class="mt10"', re.S), r1.text)
        job_describe = describes[0].strip().replace('<p>', '').replace('</p>', '').replace('<p>', '').replace('<span>', '').replace('</span>', '').replace('\t', '').replace('<', '').replace('<br>', '').replace('\n', '').replace('&nbsp;','')
        print('职位信息', job_describe)
        describes1 = re.findall(re.compile('<div class="tmsg inbox">(.*?)</div>', re.S), r1.text)
        company_describe= describes1[0].strip().replace('<p>', '').replace('</p>', '').replace('<p>', '').replace('<span>','').replace('</span>', '').replace('\t', '').replace('&nbsp;','').replace('<br>', '').replace('<br>', '')
        print('公司信息', company_describe)
        companytypes = t1.xpath('//div[@class="com_tag"]/p/text()')[0]
        print('公司类型', companytypes)
        company_people = t1.xpath('//div[@class="com_tag"]/p/text()')[1]
        print('公司人数',company_people)
        salary=t1.xpath('//div[@class="cn"]/h1/strong/text()')
        salary = re.findall(re.compile(r'div class="cn">.*?<strong>(.*?)</strong>',re.S),r1.text)[0]
        print('薪水',salary)
        labels = t1.xpath('//div[@class="jtag"]/div[@class="t1"]/span/text()')
        label = ''
        for i in labels:
            label = label + ' ' + i
        print('待遇',label)
        datalist = [
            str(area),
            str(companyname),
            str(job),
            str(education),
            str(salary),
            str(label),
            str(workyear),
            str(require_people),
            str(date),
            str(job_describe),
            str(company_describe),
            str(companytypes),
            str(company_people),
            str(link)]
        series = pd.Series(datalist, index=[
            '地区',
            '公司名称',
            '工作',
            'education',
            'salary',
            'welfare',
            '工作经验',
            '需求人数',
            '发布时间',
            '工作介绍',
            '公司介绍',
            '公司规模',
            '公司人数',
            '链接',
            ])
        return (1,series)
    except IndexError:
        print('error,未定位到有效信息导致索引越界')
        series = None
        return (-1, series)


if __name__ == '__main__':
        for a in range(1,2):
            datasets = pd.DataFrame()
            print('正在爬取第{}页信息'.format(a))
            # time.sleep(random.random()+random.randint(1,5))
            links= get_links(a)
            print(links)
            for link in links:
                #time.sleep(random.random() + random.randint(0, 1))
                print(link)
                state,series=get_content(link)
                if state==1:
                    datasets = datasets.append(series, ignore_index=True)
                    print('datasets---------',datasets)


            print('第{}页信息爬取完成\n'.format(a))
        print(datasets)
        datasets.to_csv('51job_test2.csv', sep='#', index=False, index_label=False,
                            encoding='utf-8', mode='a+')

运行代码
在这里插入图片描述

Csv文件：
在这里插入图片描述
在这里插入图片描述

爬取的数据清洗操作：https://blog.csdn.net/weixin_43746433/article/details/91346274

curd_boy
关注
  • 1
    点赞
  • 踩
  • 83
    收藏
    觉得还不错? 一键收藏
  • 17
    评论
专栏目录
python爬取51job简历查看信息
阿里木客
08-30 1675
python爬取51job简历查看信息效果展示脚本实现linux 定时任务查看定时任务是否添加成功查看定时任务日志 51job网站只显示最近一个简历查看信息，如果需要查看多个需要付费，通过脚本定时抓取信息存入本地文件中，以实现查看全部信息。 效果展示 脚本实现 创建脚本getinfo.py 内容如下： import requests,io from bs4 import BeautifulSou...
28个精品Python爬虫实战项目
nnn0245的博客
03-04 5543
Python当然是这类的赢家，它的语法容易，简单易学，Python允许你犯些小错但不会破坏代码，给新手一些信心继续学习。从新手的角度来看，想学一些更容易、更灵活的技术，而Python正是这样的技术。Python适用于网站、桌面应用开发，自动化脚本，复杂计算系统，科学计算，物联网，游戏设计，机器学习，自然语言处理等很多方面。Python是免费开源的。Python是所有编程语言里面，代码量最低，非常易于读写，遇到问题时，程序员可以把更多的注意力放在问题本身上，而不用花费太多精力在程序语言、语法上。
2024年Python爬虫：爬取招聘网站系列 - 前程无忧
2401_84562659的博客
05-01 1195
import pprint # 格式化输出模块import csv # 保存csv数据算了，我直接贴代码吧，流程都写清楚了，我把注释也标上了。兄弟们在学习的时候没有人解答和好的学习资料教程就很痛苦，解答或者其它教程都在这了对应视频教程：【Python爬虫】招聘网站实战合集第一弹：爬取前程无忧，零基础也能学会！f = open(‘python招聘数据1.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)‘标题’,‘公司名字’,‘城市’,‘薪资’,
python爬虫实战之爬取51job前程无忧简历
王大阳的博客
05-05 1万+
首先F12对搜索的网页进行分析，51job网址 我们可以观察到，其网页结构比较简单，基本信息都在 p标签下 这种情况利用正则表达式可以很容易的把信息提取出来 代码如下： import urllib.request import re #获取原码 def get_content(page,name): name = urllib.request.quote(name)###编码 ...
【Python爬虫】招聘网站实战合集第一弹：爬取前程无忧
bagell的博客
10-19 4216
爬个妹子总是没过，没办法，咱们来爬爬招聘网站吧~本次以前程无忧为例，看看Python的工资如何。一. 数据来源分析二. 代码实现步骤: 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据OK，思路都清楚的话，咱们来康康代码。算了，我直接贴代码吧，流程都写清楚了，我把注释也标上了。关于这篇文章，也有相对应的视频教程：( “复制代码”)
Python爬虫：爬取招聘网站系列 - 前程无忧(1)
m0_60607971的博客
04-27 1090
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
python爬虫之爬取51job上python的岗位信息
legalhighhigh的博客
04-01 1万+
用的都是函数，面向过程一步一步来。代码很好理解，但是维护起来成本很高，不容易扩展。 下一步改造成用类来实现的爬虫。先放结果图： 爬取网页用的requests库 相关链接：requests库的一些知识点 解析用的xpath，51job的解析很简单，xpath复制一下就基本出来了。 存储用的excel 相关链接：python读取excel的知识点 先看代码： #coding:utf...
Python爬虫：爬取招聘网站系列 - 前程无忧
m0_60575487的博客
04-26 539
1、爬虫的基本流程2、re正则表达式模块的简单使用3、requests模块的使用4、保存csvpython 3.8pycharm 2021专业版pycharm 社区版 (免费) 没有主题专业版 (需要激活码)requests >>> pip install requests (数据请求模块) 第三方模块rejsoncsvtime一. 数据来源分析1. 确定我们要的爬取的内容是什么?招聘基本数据信息2. 通过开发者工具进行抓包分析, 分析这些数据是从哪里可以获得。
2024年最全Python爬虫：爬取招聘网站系列 - 前程无忧(1)
最新发布
2401_84689803的博客
05-01 609
OK，思路都清楚的话，咱们来康康代码。首先导入模块import requests # 数据请求 第三方模块 pip install requestsimport re # 正则表达式模块import json # 序列化与反序列化import pprint # 格式化输出模块import csv # 保存csv数据算了，我直接贴代码吧，流程都写清楚了，我把注释也标上了。
Python爬虫实战之爬取百度贴吧帖子1
08-04
1. 对百度贴吧的任意帖子进行抓取 2. 指定是否只抓取楼主发帖内容 3. 将抓取到的内容分析并保存到文件 1. URL格式的确定 2. 页面的抓取 3. 提取
Python爬虫实战之爬取网站全部图片三
02-27
此代码是爬取整站的完整代码，运行就可以直接爬完站上所有的图片。 但是以为代码是python2的，如果使用python3的朋友请自行修改相关函数，代码中也有相关的注释。 代码使用多线程进行批量下载 文章地址:...
Python爬虫实战之爬取饿了么信息
热门推荐
王大阳的博客
06-13 1万+
闲来无事，爬取大学城周边的饿了么夜晚外卖信息打发时间。 数据来源平台：饿了么 地点选择：新乡大学城（夜晚） 抓取地址：https://www.ele.me/place/wtw0tgvd7yr 抓取数据：店名（name）和店的口味(flavors)。 1.首先观察网页结构，需要登录饿了么官网，F12查看 找到以restaurants开头的信息，并双击打开 2.这时，可以观察到网页的结构信息，这时就...
爬取新浪微博某超话用户信息，进行EDA分析
王大阳的博客
08-27 8483
Sina_Topic_Spider: 内容： 爬取某位明星的微博超话的上万条用户信息，对爬取的结果进行EDA分析与数据可视化，如分析用户年龄，性别分布、粉丝团的地区分布，词云打榜微博内容。 详细代码在Github：https://github.com/why19970628/Python_Crawler/tree/master/Sina_topic_spider 适合人群：Python爬虫学习者...
Python爬虫实战之爬取起点小说
王大阳的博客
06-11 6936
起点小说网址https://www.qidian.com/all 总体思路分为三步： 1.分析网页结构，利用xpath表达式爬取到所有的文章名字与链接，并按文章名字生成文件夹。 import requests from urllib import request from lxml import etree import os header = { 'User-Agent': 'Mozil...
当当网图书爬虫与数据分析
王大阳的博客
08-25 5870
''' Function: 当当网图书爬虫 ''' import time import pickle import random import requests from bs4 import BeautifulSoup headers = { 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows N...
python爬虫课设，爬取51job网站岗位基本信息，大学开展python数据获取与预处理
06-10
好的，我了解了你的问题。你需要爬取51job网站的岗位基本信息，并且需要将这些数据进行预处理。那么你需要具备以下的技能和知识： 1. Python编程知识，包括基本的语法、函数、模块等知识； 2. 爬虫技术，包括使用requests、beautifulsoup等库来获取和解析网页； 3. 数据处理和分析技能，包括使用pandas、numpy等库来进行数据清洗、分析和可视化； 4. 数据库知识，包括使用MySQL等数据库来存储和管理数据。 具体的实现过程如下： 1. 使用requests库来发送HTTP请求，获取51job网站的岗位信息页面； 2. 使用beautifulsoup库来解析HTML页面，提取出岗位信息的关键字段，例如职位名称、公司名称、薪资、工作地点等； 3. 使用pandas库来将数据保存到Excel或CSV格式文件中，方便进一步的数据处理和分析； 4. 使用MySQL等数据库来存储和管理数据，方便数据的查询和管理。 最后，需要注意的是，在进行爬虫和数据处理的过程中，需要遵守相关的法律法规，不得违反网站的服务条款，避免对网站造成不必要的影响。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值