python3爬虫Requests利用xpath

我们需要先 去cmd 里面输入pip   install  requests和lxml这个两个库进行下载。

import requests
import time
from lxml import *

headers={
    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Mobile Safari/537.36'
}//伪装代理用户
   url='https://www.zhipin.com/job_detail/?city=101010100&source=10&query=python%E7%88%AC%E8%99%AB'   //爬去boss的网址。
r=requests.get(url,headers=headers)//以get方式响应服务器

r.encoding='utf-8'//状态码
xl=etree.HTML(r.text)//解析成xlml
r_ifon=xl.xpath('//*[@id="main"]/div/ul/li');爬取数据
for i in r_ifon://循环迭代
    time.sleep(2)//设置访问速度
    mingzi=i.xpath('//*[@id="main"]/div/ul/li/a/div/div/h4/text()')//爬取的是职位的名称

print(mingzi)