小说采集一直是站主比较头大的一件事,接下来我将给大家分享用python采集笔趣阁小说站,可能会多写几篇,不足之处大家多多指教
目标站:www.biquges.cc
先采集小说资源链接
代码中是将所有采集到的链接存放到列表中,有需要的同学可以自己写sql语句存放到数据库中或者保存到txt文件中
#coding=utf-8
import requests
class GetList:
“”"
获取小说列表链接
“”"
def getlist(self,start_num,end_num):
lis=[]
for i in range(start_num,end_num):
url=“http://www.biquges.cc/b”
url=url+str(i)
#获取网页状态吗,如果是200就添加到采集资源池中
status=requests.get(url).status_code
if status==200:
lis.append(url)
else:
continue
print(lis)
if name==“main”:
gl=GetList()
gl.getlist(start_num=1,end_num=3)