爬虫

request 常用的几种方法：

xpath

Xpath解析网页的流程：
1.首先通过Requests库获取网页数据
2.通过网页解析，得到想要的数据或者新的链接
3.网页解析可以通过 Xpath 或者其它解析工具进行，Xpath 在是一个非常好用的网页解析工具

常见的解析方法比较

一个简单的爬虫-requests+xpath

import requests
from lxml import etree

url = 'https://movie.douban.com/subject/1292052/'
data = requests.get(url).text                    #读取网页内容
s=etree.HTML(data)                               #解析网页内容

film=s.xpath('//*[@id="content"]/h1/span[1]/text()')  #使用xpath读取内容
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')
time=s.xpath('//*[@id="info"]/span[13]/text()')

print('电影名称：',film)
print('导演：',director)
print('主演：',actor)
print('片长：',time)

作者：DC学院
链接：https://www.jianshu.com/p/b86e46c9478b
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

实际上主演是这么来的

actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')  #主演1
actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')  #主演2
actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')  #主演3

观察上面的代码，发现获取不同的 主演  信息时，区别只在于 a[ ]中的索引不同。实际上，要一次性的获取所有主演的信息时，用不加数字的 a 表示即可。代码如下：

actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')  #主演