1.需求分析
从http://www.kanunu8.com/book3/6879中爬取所有章节的网址,并将每一章节内容保存在本地文件夹中,一个章节对应一个txt文件。
2.相关技术
- requests获取网页源码
- 正则表达式获取需要的内容
- 文件操作
- multiprocessing 多线程爬虫
3.源代码(可直接执行)
import os
import requests
import re
import time
from multiprocessing.dummy import Pool
def get_html_source(web):
'''
requests获取网页源码
:param web: 网页地址
:return: 网页源码
'''
source = requests.get(web).content.decode('GB2312')
return source
def get_chapter_html(html, start_url):
'''
获取每一章节的链接并存在列表中
:param html: 目录页源代码
:param start_url: 目录页网址
:return: 每章链接
'''
chapter_html_list = []
html_body = re.findall('正文(.*?)</tbody>', html, re.S)[0]
chapter_html = re.findall('href="(.*?)">', html_body, re.S)
for h in chapter_html:
chapter_html_list.append(start_url+'/'+h)
# for i in chapter_html_list:
# print(i)
return chapter_html_list
def get_article(html):
'''
获取每一章节的标题和正文内容
:param html: 每一章节正文的源代码
:return:
'''
title = re.search('<title> (.*?) 小说在线阅读</title>', html).group(1)
# print("="*66, '\n', title, '\n', "="*66)
text = re.search('<p>(.*?)</p>', html, re.S).group(1)
text = text.replace('<br />', '')
# print("=" * 66, '\n', text, '\n', "=" * 66)
return title, text
def sava_aticle(title, text):
'''
保存章节内容至本地文件中
:param title: 章节标题,作为txt文件的文件名,str
:param text: 正文内容,str
:return: None
'''
file_path = os.path.join('animal_farm', title + '.txt')
with open(file_path, 'w', encoding='utf-8') as f:
f.write(text)
print("Succeaaful save!")
def getArticle_and_Save(chapter_url):
'''
获取每一章节网页源码中的标题和正文,并保存在文件夹animal_farm中
:param chapter_url: 章节的网页链接
:return: None
'''
html_chapter = get_html_source(chapter_url)#获取网页源码
# print(html_chapter)
title, content = get_article(html_chapter)#获取标题和正文内容
sava_aticle(title, content)#保存正文,以标题作为文件名保存在本地
def main():
start_url = 'http://www.kanunu8.com/book3/6879'
html = get_html_source(start_url)
chapter_url_list = get_chapter_html(html, start_url)
'''无线程和线程比较'''
# start = time.time()
# for u in chapter_url_list:
# getArticle_and_Save(u)
# end = time.time()
# print(f"The time for all work(Without thread):{end-start}")
# # printing: The time for all work(Without thread):36.036535024642944
start = time.time()
pool = Pool(5)#定义5个线程
pool.map(getArticle_and_Save, chapter_url_list)
end = time.time()
print(f"The time for all work(With thread):{end-start}")
#printing: The time for all work(With thread):5.603085994720459
if __name__ == '__main__':
os.makedirs('animal_farm', exist_ok=True)
#构建文件夹,如果已经存在,则什么都不做
main()#主函数
源码分析:
每次成功保存一个txt文件输出提示,控制台输出如下:
同时可以知道,多线程情况下(本代码设置的五个线程),运行时间为5.6,而单线程情况下时间为36.0,可以发现,多线程时间比1/5单线程时间多一点,那是因为多线程中,线程之间切换也需要一点点时间。
执行完代码后,在当前目录下多了一个animal_farm文件夹,如下:
参考书籍:谢乾坤.python爬虫开发:从入门到实践(微课版)