python爬虫入门教程04：招聘信息爬取

二、💥请求网页，先获取所有招聘信息的详情url地址

---

使用开发者工具发现网页加载出来的内容是乱代码的，这也意味着等会再爬取的时候，是需要转码的，这样看是看不出自己想要的内容网页是否有返回数据，可以复制网页中的数据，在网页源代码里面搜索。

没有结果，那么我们就可以搜索详情链接的ID

里面不仅有ID 还有详情url地址。用正则表达式匹配出ID，然后再拼接url，如果匹配出url地址的话，需要再转一次。

❤特别声明：❤

因为网站原因，每一个招聘详细页面url地址，仅仅只是ID的变化，如果ID不是唯一变化值的时候，那取url地址更好。

import requests

import re

def get_response(html_url):

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’,

}

response = requests.get(url=html_url, headers=headers)

return response

def get_id(html_url):

response = get_response(html_url)

result = re.findall(‘“jobid”:“(\d+)”’, response.text)

print(response.text)

print(result)

if name == ‘main’:

url = ‘https://search.51job.com/list/010000%252C020000%252C0302