python爬取小说网站资源_Python爬取小说网站下载小说

#1前言

这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的

因为这种网站基本没有反爬虫机制的，所以可以直接爬取

#2.requests库

requests库非常得简单好用，他可以向网站发送请求，接收信息

最简单的一个例子即是

r = requests.get(url, timeout=30)

r.raise_for_status()

r.encoding = r.apparent_encoding

raise_for_status()的功能是若服务器发送404/502之类的错误码raise_for_status()便会抛出异常

r.encoding = r.apparent_encoding这一行语句用于调整编码，encoding为代码猜测出来的编码，可能并不准确

def get_html(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

r.encoding = r.apparent_encoding

return r.text

except:

return " HTMLERROR "

#3.BeautifulSoup库

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找

基本用法：

url_list=[]

soup = BeautifulSoup(html,'lxml')

lista