Python网络爬虫实战之爬取小说

一、目标

1- 爬取一个章节的小说
2- 爬取整一本小说

二、爬取单章节的小说

2.1 数据准备

这里在网上随意搜了一个网站，其链接如下：
https://www.biqukan.com/1_1408/16046054.html

2.2 网页分析

可以看到，正文的内容都包含在div标签里头，整个html页面包含多个div标签头，我们可以通过其属性找到我们需要的那个；最后再通过text方法获得标签内的文本信息，最后再通过结束符进行提取。

2.3 代码实现

import requests
from bs4 import BeautifulSoup


def get_html_text(url):
	try:
		kv = {'user-agent': 'Mozilla/5.0'}  # 设置代理
		r = requests.get(url, headers=kv, timeout=30)
		r.raise_for_status()
		r.encoding = r.apparent_encoding  # 找到当前html的编码格式
		return r.text  # 返回html文本信息
	except:
		return ""


def get_article_info(url):
	html = get_html_text(url)
	soup = BeautifulSoup(html, 'html5lib')  # 这里需要用html5lib解析器才能正常解析，如直接使用'html.parser'则会造成解析内容缺失
	texts = soup.find("div", attrs={"class": "showtxt"})  # 定位到我们需要的标签
	result = texts.text.split("――")[0]  # 获取标签内的文本信息，利用分割符提取我们需要的正文内容，将文件保存为.txt文件。
	with open("第一章 归来.txt", "wb") as f:
		f.write(result.encode('utf-8'))  # 设定编码格式，以免出现乱码现象


def main():
	url = "https://www.biqukan.com/1_1408/16046054.html"
	get_article_info(url)
	print("爬取完毕！")


if __name__ == "__main__":
	main()

三、爬取整一本小说

3.1 数据准备

网站链接：https://www.biqukan.com/1_1408/

3.2 网页分析

可以观察到这部小说的主页上都包含了每一个章节的url标识，我们可以从中提取出每个url标识将其存到一个列表中，顺便将相对应的章节名称也保存起来。最后我们创建一个文件夹，文件夹名称为小说名，我们将爬取到的每一个章节都单独的保存到一个记事本文件中去，文件名记为章节名称。具体的细节请看代码实现

3.3 代码实现

import os
from pathlib import Path
import requests
from bs4 import BeautifulSoup


def get_html_text(url):
	try:
		kv = {'user-agent': 'Mozilla/5.0'}
		r = requests.get(url, headers=kv, timeout=30)
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return ""


def get_url_list(lst, tst, url):
	html = get_html_text(url)
	soup = BeautifulSoup(html, "html5lib")
	div = soup.find('div', class_={"listmain"})
	dl = div.contents[1]
	for d in dl:
			if d.name == 'dd' and d.a.text[0] == "第":
			lst.append(d.a['href'])
			tst.append(d.a.text)
	return lst, tst


def get_article_info(url, title, ):
	html = get_html_text(url)
	soup = BeautifulSoup(html, 'html5lib')
	texts = soup.find('div', {'class': 'showtxt'})
	result = texts.text.split('--')[0]
	my_file = Path("./飞剑问道")
	if not my_file.is_dir():
		os.mkdir("./飞剑问道")

	filename = "./飞剑问道/" + title + '.txt'
	with open(filename, 'wb') as f:
		f.write(result.encode('utf-8'))


def main():
	link_list = []
	text_list = []
	capital_url = 'https://www.biqukan.com/1_1408/'
	pre_url = "https://www.biqukan.com"
	get_url_list(link_list, text_list, capital_url)
	count = 0
	for i, code in enumerate(link_list):
		try:
			url = pre_url + code
			get_article_info(url, text_list[i])
			count = count + 1
			print("\r目前下载进度为{:.2f}%".format((count/len(link_list))*100), end='')
		except:
			count = count + 1
			print("\r目前下载进度为{:.2f}%".format((count/len(link_list))*100), end='')
			continue


if __name__ == "__main__":
	main()

效果图如下：

打开可见到正文

这期就分享到这里，谢谢大家，有任何疑问欢迎评论区留言。