我们需要先 去cmd 里面输入pip install requests和lxml这个两个库进行下载。
import requests
import time
from lxml import *
headers={
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Mobile Safari/537.36'
}//伪装代理用户
url='https://www.zhipin.com/job_detail/?city=101010100&source=10&query=python%E7%88%AC%E8%99%AB' //爬去boss的网址。
r=requests.get(url,headers=headers)//以get方式响应服务器
r.encoding='utf-8'//状态码
xl=etree.HTML(r.text)//解析成xlml
r_ifon=xl.xpath('//*[@id="main"]/div/ul/li');爬取数据
for i in r_ifon://循环迭代
time.sleep(2)//设置访问速度
mingzi=i.xpath('//*[@id="main"]/div/ul/li/a/div/div/h4/text()')//爬取的是职位的名称
print(mingzi)