新手报道【python】爬取腾讯招聘信息

最新推荐文章于 2021-11-24 00:57:40 发布

weixin_39129513

最新推荐文章于 2021-11-24 00:57:40 发布

阅读量390

点赞数 1

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_39129513/article/details/99717710

版权

本文是Python入门者的实战分享，通过编写爬虫程序，详细介绍了如何抓取并解析腾讯发布的招聘信息，包括使用requests库进行HTTP请求，BeautifulSoup进行HTML解析，以及数据保存的方法。适合对Python爬虫感兴趣的读者学习。

摘要由CSDN通过智能技术生成

#实例：爬取腾讯招聘信息
from bs4 import BeautifulSoup
import urllib
import urllib.request
import requests
import json
import time
import re
import random
#伪装多个浏览器
agent1="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"

agent2="Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"

agent3="Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)"

agent4="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

agent5="User-Agent,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36"

list=[agent1,agent2,agent3,agent4,agent5]

agent=random.choice(list)

header={"User-Agent":agent}#多个浏览器信息,随机选一个

pagestart&