Python爬取豆瓣图书信息---书名和评分

#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time

url2 = 'https://book.douban.com/top250'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
data2 = requests.get(url2,headers=headers).text

#data2 = requests.get(url2).text
f = etree.HTML(data2)
books = f.xpath('//*[@id="content"]/div/div[1]/div/table')
for div in books:
    title = div.xpath('./tr/td[2]/div[1]/a/@title')[0]
    score = div.xpath('./tr/td[2]/div[2]/span[2]/text()')[0]
    print("{}--->{}".format(title,score))

 

运行结果

红楼梦--->9.6
活着--->9.4
百年孤独--->9.2
1984--->9.3
飘--->9.3
三体全集--->9.4
三国演义（全二册）--->9.2
白夜行--->9.2
福尔摩斯探案全集（上中下）--->9.2
动物农场--->9.2
小王子--->9.0
房思琪的初恋乐园--->9.2
天龙八部--->9.1
撒哈拉的故事--->9.2
安徒生童话故事集--->9.2
哈利•波特--->9.7
人类简史--->9.1
围城--->8.9
沉默的大多数--->9.1
平凡的世界（全三部）--->9.0
霍乱时期的爱情--->9.0
明朝那些事儿（1-9）--->9.1
局外人--->9.0
笑傲江湖（全四册）--->9.0
杀死一只知更鸟--->9.2