python虫虫（平凡之路）

爬取单一网页上的内容，并保存到txt文档内，以小说排行榜首页为例：

import requests
import time
import re

url = 'http://top.baidu.com/buzz/book.html'
res = requests.get(url)
res.encoding = 'gb2312'
kk = '<a class=".*?" target=".*?" href="(.*?)" href_top=".*?">(.*?)</a>'
url_list = re.findall(kk, res.text)
for i in range(len(url_list)):
    with open('D:\\***\\***.txt', 'a') as f:
        f.write(str(i+1) + '、' + str(url_list[i]) + '\n')
        print('{}.{}\t'.format(i, url_list[i]))
        time.sleep(1)

 

 

这里通过正则来选取了百度链接以及小说的名字，在写入txt文档里面的时候加入了排名序号。

 

 

        我曾经跨过山和大海，也穿过人山人海，我曾经拥有着的一切，转眼都飘散如烟，我曾经失落失望失掉所有方向，直到看见平凡才是唯一的答案。
                                                                                                                                                            ——韩寒《平凡之路》