安徽科技学院 信网学院网络文化节 徐璐瑶

#调用函数
import requests
import re
#找到要爬取小说的链接
url=‘http://book.zongheng.com/showchapter/986590.html’
#更改爬虫的头部信息，防止有些网站禁止爬虫爬取
headers={‘User-Agent’:‘Mozilla/5.0’}
#发送请求
r=requests.get(url,headers=headers)
#获取网页的状态码
t=r.status_code
#获取网页内容
html=r.text
#状态码等于200表示能够请求链接
if t==200:
#获取网页源代码提取（浏览器小说网页右键找到查看网页源代码）获取每个章节的url链接
urls=re.findall(’’,html,re.S)
#去掉提取中多余的部分
urls=urls[1:]
i=1
#遍历列表中的链接
for url in urls:
#向每个链接发送请求
a=requests.get(url)
#获取每个连接的网页内容
text=a.text
#删除每个网页中不是文字的内容
text=re.sub(’

\u3000\u3000|

\r\n |\r\n

‘,’’,text)
#提取所要提去的文本
text=re.findall(’

(.*?)

’,text,re.S)
#正则表达式提取出来的是列表形式无法写入，所以把它转化成字符串形式
text=str(text)
try:
#把要爬取的内容写入文本文档
with open(str(i)+’.text’,‘w’) as f:
#提示章节下载的情况
print(‘第%d章下载完毕’%(i))
f.write(text)
#关闭文档
f.close()
i=i+1
except:
print(‘请求错误’)
升级pip 输入指令 python -m pip install --upgrade pip
安装requests 指令 pip install requests