爬取单一网页上的内容,并保存到txt文档内,以小说排行榜首页为例:
import requests
import time
import re
url = 'http://top.baidu.com/buzz/book.html'
res = requests.get(url)
res.encoding = 'gb2312'
kk = '<a class=".*?" target=".*?" href="(.*?)" href_top=".*?">(.*?)</a>'
url_list = re.findall(kk, res.text)
for i in range(len(url_list)):
with open('D:\\***\\***.txt', 'a') as f:
f.write(str(i+1) + '、' + str(url_list[i]) + '\n')
print('{}.{}\t'.format(i, url_list[i]))
time.sleep(1)
这里通过正则来选取了百度链接以及小说的名字,在写入txt文档里面的时候加入了排名序号。
我曾经跨过山和大海,也穿过人山人海,我曾经拥有着的一切,转眼都飘散如烟,我曾经失落失望失掉所有方向,直到看见平凡才是唯一的答案。
——韩寒《平凡之路》