#下载一个网页
import requests
import re
url = 'https://www.biquge5200.cc/14_14621/'
#模拟浏览器发送http请求
response = requests.get(url)
#编码方式response.encoding = 'utf-8',如果下载下来的网页内容有中文乱码现象就需要加上这一句话
#网页源码
html = response.text
#[0]取列表下第0个元素.
#eg:title的输出结果为:['斗神狂飙无弹窗_斗神狂飙最新章节列表_斗神狂飙5200_笔趣阁']
#加上[0],就把这里面索引为0的内容提取出来了,斗神狂飙无弹窗_斗神狂飙最新章节列表_斗神狂飙5200_笔趣阁
title = re.findall(r'
', html)[0]
#新建一个文件夹,保存小说内容
fb = open('%s.txt' % title, 'w', encoding='utf-8')
#获取每一章的信息(标题,章节,url).*? (这个 . 代表匹配任意字符,但是不匹配不可见字符,比如换行)
# 添加上re.S后,意味着 . 可以匹配不可见字符,[0]取列表下第0个元素
dl = re.findall(r'
.*?
', html, re.S)[0]
chapter_info_list = re.findall(r'
(.*?)
', chapter_html, re.S)[0]
#清洗数据,但是replace用不了,未完待续,来个大神救我一下。。。。
#chapter_content = chapter_content.replace(' ','')
# chapter_content = chapter_content.replace(' ', '')
# chapter_content = chapter_content.replace('', '')
#下面的代码也不能用,它给我的每个字都添加了单引号和逗号,不解
#chapter_content = [item.replace(' ', '') for item in chapter_content]
#chapter_content = [item.replace('', '') for item in chapter_content]
#数据持久化
fb.write(chapter_title)
fb.write(chapter_content)
fb.write('\n')
except IndexError:
pass
#bug:list index out of range
#失败原因:爬虫在做xpath时候匹配到空值
#解决方法:加上try.....except 错误机制跳过dd空值
学习python第二天、、爬虫第二天、、这个简单的爬虫,还有数据清洗那一块有问题,找个有缘的朋友悄咪咪的tell me 一下?在此万分感谢!
chapter_content = chapter_content.replace(' ','')这个问题还是没有解决,但是我用BeautifulSoup解决了数据清洗!请看用Python3写一个简单的爬小说的爬虫(下)https://blog.csdn.net/LiebeZQ/article/details/98189065