#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url2 = 'https://book.douban.com/top250'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
data2 = requests.get(url2,headers=headers).text
#data2 = requests.get(url2).text
f = etree.HTML(data2)
books = f.xpath('//*[@id="content"]/div/div[1]/div/table')
for div in books:
title = div.xpath('./tr/td[2]/div[1]/a/@title')[0]
score = div.xpath('./tr/td[2]/div[2]/span[2]/text()')[0]
print("{}--->{}".format(title,score))
运行结果
红楼梦--->9.6
活着--->9.4
百年孤独--->9.2
1984--->9.3
飘--->9.3
三体全集--->9.4
三国演义(全二册)--->9.2
白夜行--->9.2
福尔摩斯探案全集(上中下)--->9.2
动物农场--->9.2
小王子--->9.0
房思琪的初恋乐园--->9.2
天龙八部--->9.1
撒哈拉的故事--->9.2
安徒生童话故事集--->9.2
哈利•波特--->9.7
人类简史--->9.1
围城--->8.9
沉默的大多数--->9.1
平凡的世界(全三部)--->9.0
霍乱时期的爱情--->9.0
明朝那些事儿(1-9)--->9.1
局外人--->9.0
笑傲江湖(全四册)--->9.0
杀死一只知更鸟--->9.2