爬取笔趣阁小说网站上的所有小说(二)
网址为:https://www.biqukan.cc/topallvisit/1.html
我们已经拿到了所有小说的地址爬取笔趣阁小说网站上的所有小说(一),现在开始下载小说。
获取小说的信息
每个小说都有书名,类型,图片,简介等信息,我们先得到并存储在CSV里。
我们下先读取已经下载好的小说地址,并获得小说页面的源码:
# 以1页为例
for i in range(1,2):
# 打开本地文件夹
with open('第'+str(i) + '页.txt', 'r', encoding='utf-8') as f:
# 总共有30个小说
for j in range(1,31):
# 读取一行作为地址
url = f