python爬豆瓣top250书籍_python爬虫练习-爬取豆瓣图书top250

个人自学，完整学习请访问以下链接

学习链接：https://study.163.com/course/courseMain.htm?courseId=1004714034

代码

# -*-coding:utf-8-*-

import requests

from lxml import etree

import time

count = 1 #计数器

#一页25本书，一共10页，循环十次。

for i in range(10):

#第一页：https://book.douban.com/top250?start=0

#第二页：https://book.douban.com/top250?start=25

#第三页：https://book.douban.com/top250?start=50

#。。。以此类推得：

url = 'https://book.douban.com/top250?start={}'.format(i*25)

data = requests.get(url).text #获取页面的text

s = etree.HTML(data) #解析data

books = s.xpath('/html/body/div[3]/div[1]/div/div[1]/div/table')

#print(scores)

for div in books:

name = div.xpath('./tr/td[2]/div[1]/a/@title')[0]

athor= div.xpath('./tr/td[2]/p[1]/text()')[0]

score = div.xpath('./tr/td[2]/div[2]/span[2]/text()')[0]

quote = div.xpath('./tr/td[2]/p[2]/span/text()')

print(count)

#有的文章没有quote部分

if len(quote)>0:

#print("title:{}\tathor:{}\nscore:{}\tquote:{}\n\n".format(name,athor,score,quote)

#直接输入上文会产生问题，加上 .encode('GBK','ignore').decode('GBk') 也就是先用gbk编码,

#忽略掉非法字符,然后再译码

print("title:{}\tathor:{}\nscore:{}\tquote:{}\n\n".format(name,athor,score,quote).encode('GBK','ignore').decode('GBk'))

else:

print("title:{}\tathor:{}\nscore:{}\n\n".format(name,athor,score))

count += 1 #计数器加一

效果