request 常用的几种方法:
xpath
Xpath解析网页的流程:
1.首先通过Requests库获取网页数据
2.通过网页解析,得到想要的数据或者新的链接
3.网页解析可以通过 Xpath 或者其它解析工具进行,Xpath 在是一个非常好用的网页解析工具
1.首先通过Requests库获取网页数据
2.通过网页解析,得到想要的数据或者新的链接
3.网页解析可以通过 Xpath 或者其它解析工具进行,Xpath 在是一个非常好用的网页解析工具
常见的解析方法比较
一个简单的爬虫-requests+xpath
import requests
from lxml import etree
url = 'https://movie.douban.com/subject/1292052/'
data = requests.get(url).text #读取网页内容
s=etree.HTML(data) #解析网页内容
film=s.xpath('//*[@id="content"]/h1/span[1]/text()') #使用xpath读取内容
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')
time=s.xpath('//*[@id="info"]/span[13]/text()')
print('电影名称:',film)
print('导演:',director)
print('主演:',actor)
print('片长:',time)
作者:DC学院
链接:https://www.jianshu.com/p/b86e46c9478b
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
实际上主演是这么来的
actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()') #主演1
actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()') #主演2
actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()') #主演3
观察上面的代码,发现获取不同的 主演 信息时,区别只在于 a[ ]中的索引不同。实际上,要一次性的获取所有主演的信息时,用不加数字的 a 表示即可。代码如下:
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()') #主演