声明:本文只做学习使用，禁止用作非法途径，一切因为爬虫技术使用不当造成的不良后果皆与本人无关
需要用到的库和模块
- requests库
- lxml库下的etree模块
- requests库下的RequestException类
要获取的信息
网站 http://www.aixiawx.com
首先我们要确定要得到什么数据
- 小说的名字、作者名、小说分类
- 第几章
- 每章节的内容
主要步骤
(一)构建请求头
headers = {
'User-Agent': '****************',#可填入自己的
}
base_url = 'http://www.aixiawx.com/27/27010/'
(二)分析URL参数规律
随便打开一个小说的章节，由此可见这个url参数是递增的是吧。
但是最开始的时候我观察到在这里的url是有递增规律的，就没有多看几眼，然后使用了遍历就发生了Error。
最终我测试发现部分章节不符合规律，所以不能使用这个方法来遍历url。
这样怎么办呢？
在目录页面拥有所有章节的url链接
可以抓取章节页面的url使之形成一个列表，然后遍历该列表，即可获取每个章节的链接
- 目录页面分析
根据章节的数量判断，<dd>标签一个是最合适的选择标签，所以我们使用<dd>标签来做获取章节链接的顶级索引
代码如下:
def analysis_catalogue(catalogue_html: "目录HTML文档"):
'''
解析目录HTMl文档
获取小说章节链接
对章节链接排序
'''
html = etree.HTML(catalogue_html)
contentds = html.xpath('//dd[position()>9]/a/@href')
for contentd in contentds:
yield contentd
contentus = html.xpath('//dd[position()<10]/a/@href')
for contentu in contentus:
yield contentu
收集小说的其他信息则比较简单,我们可直接通过属性索引
代码如下:
def analysis_get_file_name(catalogue_data: "目录HTML文档"):
'''
获取信息:
书名
作者名
类型
整理文件名:file_name
'''
html = etree.HTML(catalogue_data)
name_rules = [
'//meta[@property="og:novel:category"]/@content',
'//meta[@property="og:novel:author"]/@content',
'//meta[@property="og:novel:book_name"]/@content',
]
file_name = ''
for name_rule in name_rules:
content = html.xpath(name_rule)
print(content)
file_name = file_name + '#' + ''.join(content)
file_name = file_name + '.txt'
return file_name
- 章节页面分析
分析完目录，获取到所有章节的url链接，这时我们要去获取所有章节中的内容，这时我们可随意选择一章进行分析
经过分析,<h1>标签可以索引获取到章节名，而div的属性和属性值id="content"可以索引到文章的正文内容
代码如下:
def get_one_section(end_url: '每个章节的url'):
'''对单元章节进行请求'''
url = 'http://www.aixiawx.com' + end_url
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.content.decode('utf8')
else:
print(response.status_code)
return None
except RequestException:
return None
def analysis_one_section(one_section_data: "一个章节的HTML数据"):
'''解析每个章节的数据'''
html = etree.HTML(one_section_data)
contents = html.xpath('//div[@id="content"]//text()')
chapter_data = html.xpath('//h1/text()')
print(chapter_data)
yield ''.join(chapter_data)
for content in contents:
if content != '\n':
yield content.strip()
这里的章节获取到是一个列表，写入会很不方便，所以先使用join()方法给其字符串。除此之外文章的正文部分会有部分空字符串，这时候使用strip()进行删减。yield后面是一个生成器，这样爬取不会给内存造成很大的负担
(三)写入数据
由于是要进行阅读，所以我们使用txt写入数据
def analysis_write(file_name: '写入的文件名', write_one_section_data: '要写入的单个章节的数据'):
'''写入数据'''
with open(file_name + '.txt', 'a+', encoding='utf-8') as file:
file.write(write_one_section_data + '\n')
(四)主函数调整
主体函数进行子函数的安排调整
def main():
base_url = get_base_url() # 对章节url进行获取
catalogue_html = get_catalogue(base_url) # 请求章节页面
file_name = analysis_get_file_name(catalogue_html) # 获取小说各部分信息，构建文件名
end_urls = analysis_catalogue(catalogue_html) # 获取每个章节的url
for end_url in end_urls:
one_section_data = get_one_section(end_url) # 对每个url发送请求
write_one_section_datas = analysis_one_section(one_section_data) # 解析每个章节的数据
for write_one_section_data in write_one_section_datas:
analysis_write(file_name, write_one_section_data) # 向文件中写入数据
最终结果
代码
import requests
from lxml import etree
from requests import RequestException
headers = {
'User-Agent': '*********************',#写自己的
}
base_url = 'http://www.aixiawx.com/27/27010/'
def get_base_url():
'''获取目录链接'''
print('请输入小说的base_url:')
base_url = input()
return base_url
def get_catalogue(base_url: "目录链接"):
'''
对目录链接的请求访问
'''
try:
response = requests.get(base_url, headers=headers)
print(response.status_code)
if response.status_code == 200:
return response.content.decode('utf-8')
return None
except RequestException:
return None
def analysis_catalogue(catalogue_html: "目录HTML文档"):
'''
解析目录HTMl文档
获取小说章节链接
对章节链接排序
'''
html = etree.HTML(catalogue_html)
contentds = html.xpath('//dd[position()>9]/a/@href')
for contentd in contentds:
yield contentd
contentus = html.xpath('//dd[position()<10]/a/@href')
for contentu in contentus:
yield contentu
def analysis_get_file_name(catalogue_data: "目录HTML文档"):
'''
获取信息:
书名
作者名
类型
整理文件名:file_name
'''
html = etree.HTML(catalogue_data)
name_rules = [
'//meta[@property="og:novel:category"]/@content',
'//meta[@property="og:novel:author"]/@content',
'//meta[@property="og:novel:book_name"]/@content',
]
file_name = ''
for name_rule in name_rules:
content = html.xpath(name_rule)
print(content)
file_name = file_name + '#' + ''.join(content)
file_name = file_name + '.txt'
return file_name
def get_one_section(end_url: '每个章节的url'):
'''对单元章节进行请求'''
url = 'http://www.aixiawx.com' + end_url
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.content.decode('utf8')
else:
print(response.status_code)
return None
except RequestException:
return None
def analysis_one_section(one_section_data: "一个章节的HTML数据"):
'''解析每个章节的数据'''
html = etree.HTML(one_section_data)
contents = html.xpath('//div[@id="content"]//text()')
chapter_data = html.xpath('//h1/text()')
print(chapter_data)
yield ''.join(chapter_data)
for content in contents:
if content != '\n':
yield content.strip()
def analysis_write(file_name: '写入的文件名', write_one_section_data: '要写入的单个章节的数据'):
'''写入数据'''
with open(file_name, 'a+', encoding='utf-8') as file:
file.write(write_one_section_data + '\n')
def main():
base_url = get_base_url() # 对章节url进行获取
catalogue_html = get_catalogue(base_url) # 请求章节页面
file_name = analysis_get_file_name(catalogue_html) # 获取小说各部分信息，构建文件名
end_urls = analysis_catalogue(catalogue_html) # 获取每个章节的url
for end_url in end_urls:
one_section_data = get_one_section(end_url) # 对每个url发送请求
write_one_section_datas = analysis_one_section(one_section_data) # 解析每个章节的数据
for write_one_section_data in write_one_section_datas:
analysis_write(file_name, write_one_section_data) # 向文件中写入数据
if __name__ == '__main__':
print('开始抓取!')
main()
print('结束!')
效果
如有手机阅读器，支持txt文件导入的会自动编排目录，效果更好，建议导入手机阅读
扫一扫
2609
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
