#实例:爬取腾讯招聘信息
from bs4 import BeautifulSoup
import urllib
import urllib.request
import requests
import json
import time
import re
import random
#伪装多个浏览器
agent1="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
agent2="Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"
agent3="Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)"
agent4="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
agent5="User-Agent,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36"
list=[agent1,agent2,agent3,agent4,agent5]
agent=random.choice(list)
header={"User-Agent":agent}#多个浏览器信息,随机选一个
pagestart&
新手报道【python】爬取腾讯招聘信息
最新推荐文章于 2021-11-24 00:57:40 发布
本文是Python入门者的实战分享,通过编写爬虫程序,详细介绍了如何抓取并解析腾讯发布的招聘信息,包括使用requests库进行HTTP请求,BeautifulSoup进行HTML解析,以及数据保存的方法。适合对Python爬虫感兴趣的读者学习。
摘要由CSDN通过智能技术生成