python爬虫教程：python3 xpath和requests应用详解

这篇文章主要介绍了python3 xpath和requests应用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
根据一个爬取豆瓣电影排名的小应用，来简单使用etree和request库。

etree使用xpath语法。

import requests
import ssl
from lxml import etree
 
 
ssl._create_default_https_context = ssl._create_unverified_context
 
session = requests.Session()
for id in range(0, 251, 25):
 URL = 'https://movie.douban.com/top250/?start=' + str(id)
 req = session.get(URL)
 # 设置网页编码格式
 req.encoding = 'utf8'
 # 将request.content 转化为 Element
 root = etree.HTML(req.content)
 # 选取 ol/li/div[@class="item"] 不管它们在文档中的位置
 items = root.xpath('//ol/li/div[@class="item"]')
 for item in items:
  # 注意可能只有中文名，没有英文名；可能没有quote简评
  rank, name, alias, rating_num, quote, url = "", "", "", "", "", ""
  try:
   url = item.xpath('./div[@class="pic"]/a/@href')