人生苦短,我用Python
最近再看Python数据处理,看的有点头疼,想着换个脑子,便写了这个在大神看来比较简易的小说下载的爬虫,输入小说的名字就可以下载小说,并显示小说的章节数量以及下载完成的时间,期间也是来回修改了几次,本来还想加入多线程的,实在有点搞,后面有机会再说。 说到这里,估计很多小伙伴都在叫了,废话这么多,怎么操作啊,赶紧上干货!别着急,干货这就来了。 首先我们这里会用到两个库,requests以及BeautifulSoup,三个模块os , time , re ,相信这几个知识点,了解爬虫的小伙伴都很熟悉了,那我们就开始了。
我们来打开小说网址,按F12查看,首先当然是输入小说名字,我们这里就以 纯阳武神 为例,小说首页网址为https://www.37zw.la,当我们搜索纯阳武神小说后,网页地址为https://www.37zw.la/s/so.php?type=articlename&s=%B4%BF%D1%F4%CE%E4%C9%F1,对比这两个地址可以发现,首页地址后面多出了一些参数,而我们小说名字的参数就是最后面的s=,后面一堆我们看着不是太明白的字符加字母其实就是小说名字的编码,说到这里我们就可以先上一段代码了。
if __name__ == '__main__':
z = 0
headers = {
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Connection': 'keep-alive',
'