之前写的笔趣阁爬虫1.0还没有实现下载功能,今天又补充了很多东西。
不过还有不少问题。大佬们可以提提建议。
在昨天的基础上增加了以下内容:
一、###获取小说简介
ddef get_jianjie():
pattern_description=re.compile(r'description"\scontent="(.*)"/>')
resp_description=pattern_description.findall(resp2)
resp_description=''.join(resp_description)
pattern_author=re.compile(r"author\"\scontent=\"\w+") #匹配小说作者
resp_author=pattern_author.findall(resp2)
resp_author=''.join(resp_author)
resp_author=re.sub(r"content=",' ',resp_author)
resp_author=re.sub(r'[^\u4e00-\u9fa5]+', '',resp_author) ###匹配作者并替换所有非中文符号
author = "作者:"+ resp_author
#print(resp_description)
#print(resp_author)
with open('./{0}.txt'.format(book_name),"a+",encoding='utf-8') as f:
print("正在写入小说作者与简介...")
print(f.write(book_name))
print(f.write('\n'))
print(f.write(author))
print(f.write('\n'))
print(f.write(resp_description))
print(f.write('\n')) ###回车换行很重要
print(f.write('\n'))
f.close()
二、增加写入文件,并创建以书名命名的xxx.txt
#############爬取小说内容方法########################
def get_book_text(end_url):
test_url=end_url ##url
test_resp=requests.get(test_url)
test_resp.encoding='utf-8'
test_resp=test_resp.text
xxxx=test_resp
#print(test_resp)
############匹配小说正文###################
pattern3=re.compile(r'<div id="content">(.*)</div>')
text1=pattern3.findall(test_resp)
#print(text1)
text1=''.join(text1) #列表转字符串
pattern4=re.compile(r'<br />') ##匹配回车
text2_rm_br=pattern4.sub( '\n',text1)###########替换回车
#print(text2_rm_br)
pattern5=re.compile(r' ') ###匹配空格
text3_rm_nbsp_br=pattern5.sub(' ',text2_rm_br) ####替换空格
#print('正文开始:',text3_rm_nbsp_br) ###正文内容
with open('./{0}.txt'.format(book_name),"a+",encoding='utf-8') as f:
print("正在写入小说内容")
print(f.write(text3_rm_nbsp_br))
print(f.write('\n'))
print(f.write('\n'))
f.close()
# end_url='http://www.xbiquge.la/0/951/827335.html'
# get_book_text(end_url)
############匹配文章标题方法###########################3
def get_chapters_name(end_url):
test_url1=end_url ##url
test_resp1=requests.get(test_url1)
test_resp1.encoding='utf-8'
test_resp1=test_resp1.text
#print(test_resp1)
pattern_chapter_name=re.compile(r'<h1>(.*)</h1>') ##章节名称正则1
chapter_name=pattern_chapter_name.findall(test_resp1)
chapter_name=''.join(chapter_name)
#print(chapter_name) ###最终chapter_name
with open('./{0}.txt'.format(book_name),"a+",encoding='utf-8') as f:
print("正在写入:",chapter_name)
print(f.write(chapter_name))
print(f.write('\n'))
f.close()
**PS:**这里需要注意的是:open函数我这里用的a+不然在for循环中每次写入都会覆盖旧的内容。
文本模式 (默认)。
x 写模式,新建一个文件,如果该文件已存在则会报错。
b 二进制模式。
+ 打开一个文件进行更新(可读可写)。
U 通用换行模式(Python 3 不支持)。
r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。一般用于非文本文件如图片等。
r+ 打开一个文件用于读写。文件指针将会放在文件的开头。
rb+ 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。一般用于非文本文件如图片等。
w 打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。
wb 以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。一般用于非文本文件如图片等。
w+ 打开一个文件用于读写。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。
wb+ 以二进制格式打开一个文件用于读写。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。一般用于非文本文件如图片等。
a 打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
ab 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
a+ 打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。
ab+ 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。
增加了输入:
book_name=input("请输入要爬取的小说名称:")
效果如下:
请输入要爬取的小说名称:万古神帝
您要要爬取的小说是: 万古神帝
https://www.xsbiquge.com/search.php?keyword=万古神帝
请求状态: 200
网页编码方式 utf-8
获取到小说地址: https://www.xsbiquge.com/20_20331/
正在写入小说作者与简介...
4
1
6
1
271
1
1
正在写入: 第1章 八百年后
8
1
正在写入小说内容
4271
1
1
正在写入: 第2章 开启神武印记
10
1
正在写入小说内容
3673
1
1
正在写入: 第3章 黄极境
7
1
正在写入小说内容
3879
1
1
Process finished with exit code -1
遗留问题:
还有很多功能没有完善,后续还会继续更新和优化,当前的问题如下:
1、只能爬取小说名默认匹配的第一本小说。(这个需要在获取小说地址的时候遍历所有匹配到的小说,然后获取链接并让用户input输入选择要爬取的)
2、异常抛出没写,很简单 加个try:就可以了。
脚本我传到百度网盘了公众号回复”笔趣阁爬虫“获取链接