python语言正则表达式 -小说网站爬虫开发

最新推荐文章于 2024-08-22 16:29:39 发布

萝卜hu

最新推荐文章于 2024-08-22 16:29:39 发布

阅读量2.2k

点赞数 1

分类专栏： python 文章标签：爬虫 python 正则表达式

本文链接：https://blog.csdn.net/qq_40019973/article/details/88936659

版权

作业要求：

网址：http://www.kanunu8.com/book3/6879
从上述网址爬取《动物农场》所有章节的网址，再通过一个多线程爬虫将每一章的内容爬取下来。在本地创建一个“动物农场”文件夹，并将小说中的每一章分别保存到这个文件夹中。

涉及的知识点如下：

使用requests获取网页源代码。
使用正则表达式获取内容。
文件操作。

爬虫原理

就是模拟客服端Client向服务器Server发起Request请求，接收Server的Response并解析、提取所需信息

第一步：获取网站源代码

上次是手动获取，这次需要可以使用requests的get()方法获取网页的源代码（有些网页只能使用POST方法访问，否则出错），另外爬虫开发中要用到第三方库Requests，用于请求网站获取网页数据HTTP

import requests        #第三方库 获取网页数据
import re              #解释正则表达式
url = 'http://www.kanunu8.com/book3/6879'
html = requests.get(url).content.decode('GBK')
                       #获取每个章节的网址
searchObj = re.findall(r'"1317(.*?)">(.*?)</a>',html)