简易爬虫-利用Python爬虫爬取圣墟小说到本地

本文介绍了一个使用Python爬虫从笔趣阁网站抓取《圣墟》小说的教程,包括获取页面源代码、章节链接、章节内容、正文,最后将内容保存到本地txt文件。虽然简单的爬虫可能被网站风控识别,作者计划分享如何避免这种情况。
摘要由CSDN通过智能技术生成

大家好,今天给大家带来Python爬虫的简易制作,很适合新手练手。

爬虫即是利用程序模仿真实用户浏览网页并记录目标内容,从而可避过网站的广告,以获取较好的阅读体验。

本次以辰东大神的新书《圣墟》为例,向大家展示一下爬虫。欢迎大家批评指正。

需要用到的工具:

python3.x

pycharm

思路:

1.获取页面源代码

2.获取章节链接

3.获取章节网页源代码

4.获取正文

5.下载至本地

具体步骤及代码如下:

一.获取页面源代码:

1.搜索圣墟,进入笔趣阁网站,获取网站地址:https://www.biqiuge.com/book/4772/,按F12进入网页源码界面。

2.打开pycharm,建立Python文件,导入requests等库,并利用requests库中的get函数获取页面源码,具体代码如下:

import urllib.request
import re
import requests

def download_novel(
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值