爬虫学习笔记：爬取笔趣阁剑来小说

1、目的

爬取笔趣阁网站的剑来小说正文内容，并保存到本地中。

 

 

 

2、实现方案

首先，请求目标网站的网页数据，通过分析找出章节地址的特点，并通过xpath获取到章节链接；

其次，请求每一章节的内容，通过数据清洗去除脏数据，得到剑来文章正文；

最后，保存数据到本地。

 

 

 

3、程序设计

3.1 请求数据模块

请求模块，负责请求网站数据，主要使用requests的get方法获取网页内容。使用方法：request.get(url ,headers= headers) ,url表示请求的网络地址，headers表示请求头。请求到的网页数据需要指定格式读取，可以选择文本&