初入爬虫-爬小说的代码

最新推荐文章于 2024-08-14 11:00:39 发布

小白_QAQ

最新推荐文章于 2024-08-14 11:00:39 发布

阅读量3.5k

点赞数

分类专栏：爬虫日记文章标签：初入爬虫

本文链接：https://blog.csdn.net/qq_40191928/article/details/81812284

版权

这篇博客记录了作者作为Python爬虫初学者，尝试爬取小说的代码过程。作者首先介绍了如何获取网页URL，然后利用BeautifulSoup进行解析。在遇到多URL处理的问题时，采取了创建多个文件和主程序入口的方式来解决。此外，为了增加用户体验，作者还引入了tqdm库实现下载进度条。博客内容展示了作者从遇到困难到解决问题的思考过程。

摘要由CSDN通过智能技术生成

最近在学python爬虫写了一个爬小说的代码(直接上代码)
首先是获取网页的url

import ssl
import re
import requests


ssl._create_default_https_context = ssl._create_unverified_context

url = 'http://www.biquge5200.cc/75_75597/'

headers = {
  'User-Agent': 'Mozilla/5.0 (Macintosh;'
                         ' Intel Mac OS X 10_13_4)'
                         ' AppleWebKit/537.36 (KHTML,'
                         ' like Gecko) Chrome/68.0.3440.106'
                         ' Safari/537.36'}

proxies = {
  'http'