接着上文http://blog.csdn.net/weixin_41512727/article/details/79511353(豆瓣读书排名)。本次练习,在发送请求,获取网页信息后。通过正则表达式,根据网页的源码(https://www.douban.com/doulist/1264675/?start=25&sort=seq&sub_type=),提取需要的信息,如排名、书名等。
正则表达式:
pattern = re.compile('class="hd".*?class="pos">(.*?)</span>.*?class="title".*?target="_blank">(.*?)</a>', re.S)#re.S为匹配换行符。
import urllib.request
import re
import json
#发送请求,获取响应
class A():
def get_html(self):
response = urllib.request.urlopen(url)
html = response.read().decode("utf-8")
return html
#解析响应,提取数据
def parse_html(html):
#正则表达式(排名、书名)
pattern = re.compile('class="hd".*?class="pos">(.*?)</span>.*?class="title".*?target="_blank">(.*?)</a>', re.S)
items = re.findall(pattern, html)
for item in items:
yield{
'rank': item[0],
'name': item[1].strip()
}
#运行函数
if __name__ == '__main__':
for perpage in range(0,3):
with open('book_rank.txt', 'a', encoding = "utf-8") as br:
url = 'https://www.douban.com/doulist/1264675/?start=' + str(perpage*25) + '&sort=seq&sub_type='#不同的页面,相隔25.
html = A.get_html(url)
for item in A.parse_html(html):
br.write(json.dumps(item, ensure_ascii=False)+ '\n')
后续需要练习requests库,及beautifulsoup解析库。