python爬boss网站_如何用Python爬取boss直聘职业信息

环境准备

Python 3.7

Mysql

requests

PyMySQL

BeautifulSoup

获取数据

分析数据请求过程

首先我们打开boss直聘网查看正常的请求过程

打开万能的 F12，刷新，查看下当前网络发生了什么

通过上图能够看到请求参数中包含了职位，页数等信息。

构造模拟请求import requests

url = "https://www.zhipin.com/c101120100/?query=" + kw+"&page="+str(page)+"&ka=page-"+str(page)

headers = {

'Host': 'www.zhipin.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0',

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',

'Accept-Encoding': 'gzip, deflate, br',

'Referer': 'https://www.zhipin.com/job_detail/?city=101120100&source=10&query=PHP',

'DNT': '1',

'Connection': 'keep-alive',

'Cookie': '__c=1579400100; __g=-; __l=l=https%3A%2F%2Fwww.zhipin.com%2Fweb%2Fcommon%2Fsecurity-check.html%3Fseed%3DEWjlLZs%252FPr8cqa5Hs%252FGzdK13lMxlscxjvlJZWtdzaQs%253D%26name%3D986ad753%26ts%3D1579400102260%26callbackUrl%3D%252Fjob_detail%252F%253Fcity%253D101120100%2526source%253D10%2526query%253DPHP%26srcReferer%3D&r=&friend_source=0&friend_source=0; __a=83048337.1579400100..1579400100.11.1.11.11; __zp_stoken__=f0d1JSxtXmdA15ixnd1Lh9vbs1Yr2dghco%2FMt7MWfOXsroaplWan5qqBsdTxTRJMadp2RpuuULVCxSdPrFHXeLlCNNw5OdJC3nz6lIaV0p2mXbKx6jgrj3tQ4%2B4zcEDE2SBk',

'Upgrade-Insecure-Requests': '1',

'Cache-Control': 'max-age=0',

'TE': 'Trailers'

}

r = requests.get(url, headers=headers)

所有请求头原封不动拷下来，放入headers 。 cookie 需要拷贝自己浏览器的内容，单独使用上面的会失效。

分析网页结构

解析出需要的信息。这一步我们用到了BeautifulSoup 。

分析发现所有的职位都有类 job-primary

soup = BeautifulSoup(r.text, "lxml")

all_jobs = soup.select("div .job-primary")