【python】前程无忧51job岗位招聘信息爬虫程序，自动翻页，进阶版

最新推荐文章于 2024-08-01 11:20:11 发布

HelenLee01

最新推荐文章于 2024-08-01 11:20:11 发布

阅读量1.5k

点赞数 1

分类专栏： python 文章标签：爬虫 python 数据挖掘

本文链接：https://blog.csdn.net/weixin_43289135/article/details/104670719

版权

本文介绍如何使用Python编写爬虫程序，从51job网站抓取招聘信息，实现自动翻页功能。通过这个项目，可以提升数据挖掘技能，并为应对更复杂的反爬策略打下基础。

摘要由CSDN通过智能技术生成

数据挖掘的学习过程中一定绕不开的一个阶段性实践项目——前程无忧51job岗位招聘信息爬虫程序！

搞定这个之后可以尝试带有一定反爬机制的爬虫实践，比如需要登陆服务器才能进一步响应的网站，比如隔一段时间就弹出验证码的网站，有兴趣的可以去尝试一下哈！

# -*- coding:utf-8 -*-
import urllib
import re, codecs
import time, random
import requests
from lxml import html
from urllib import parse
 
key = 'python'
key = parse.quote(parse.quote(key))
headers = {'Host': 'search.51job.com',
           'Upgrade-Insecure-Requests': '1',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
 
 
def get_links(page):
    url = 'http://search.51job.com/list/000000,000000,0000,00,9,99,' + key + ',2,' + str(page) + '.html'
    r = requests.get(url, headers, timeout=10)
    s = requests.session()
    s.keep_alive = False
    r.encoding = 'gb