python爬取豆瓣读书,python爬取数据豆瓣读书

xpath爬取脚本：

from urllib import request

from lxml import etree

base_url=“https://tieba.baidu.com/f?kw=nba”

response=request.urlopen(base_url)

html=response.read().decode(‘utf-8’)

htmls=etree.HTML(html)

titles=htmls.xpath(’//div[@class=“threadlist_lz clearfix”]/div/a/@title’)

一开始在父级div没找到，因此再上一级找爷爷辈div，然后加个/div回到父级

//表示在整个html文档寻找，@表示寻找类名，再加一个/div表示它的下一级

print(titles)发现输出的是一个列表

for i in titles:

print(i)

为啥不直接找呢？

因为没有class标签，所以不好找，所以找它的父亲，看套再哪个class里

//div[@class=“pl2”]/a/@title

//p[@class=“pl”]/text()作者

P标签下用text找

//span[@class=“rating_nums”]/text()评分

短评

//span[@class=“inq”]/text()

//div[@class=“movie-content”]/a/img/@src

图片

#爬取豆瓣读书top250

建立一个文件io对象

fp=open(’./douban.txt’,‘a’,encoding=‘utf-8’)

采集源码

def index():

for i in range(0,226,25):#制作页码

# print(i)

base_url=‘https://book.douban.com/top250?start={0}’.format(i)

# print(base_url)

#抓取源码阶段

response=request.urlopen(base_url)

html=response.read().decode(‘utf-8’)

#处理源码(用etree将html转换为xml

htmls=etree.HTML(html)#就可以用xpath语言写了

clean_sto(htmls)

清洗数据并保存

def clean_sto(htmls):

titles=htmls.xpath(’//div[@class=“pl2”]/a/@title’)

# print(titles)发现是一个一个的列表

for i in titles:

# print(i)

fp.write(i+’\n’)

if name==‘main’:

index()

fp.close()