利用python爬取小说(转载)

最新推荐文章于 2024-06-03 18:40:41 发布
最新推荐文章于 2024-06-03 18:40:41 发布
阅读量1.6k 收藏 5
点赞数
分类专栏： 爬虫 文章标签： 爬取小说 
				版权声明：本文为博主原创文章，未经博主允许不得转载。					https://blog.csdn.net/xjm850552586/article/details/78585286				</div>
							            <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-f57960eb32.css">
					<div class="htmledit_views" id="content_views">
            <p><span style="color:#3f3f3f;"><strong>运行平台：</strong></span><span style="color:#3f3f3f;"><strong>&nbsp;<a href="https://www.baidu.com/s?wd=Windows&amp;tn=24004469_oem_dg&amp;rsv_dl=gh_pl_sl_csd" target="_blank">Windows</a>&nbsp;</strong></span></p>

Python版本： Python3.x 

 

一、库文件                                       

re 
sys
BeautifulSoup
urllib.request
time

二、实战                                           

（1）背景介绍

从乐文小说网站上爬取小说相见欢，并存放至txt文件中

URL： 相见欢

 

（2）Beautifu  Soup库的简介

 

  简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

  • Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

  • Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

  • Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

详细请戳这里：Beautiful Soup 4.2.0文档

 

 

（3）实战进行中……

【重要】：python想要使用汉字，需要在脚本最前面添加 #coding:utf-8，汉字使用的编码为utf-8，否则会出现错误）

首先，我们引入我们需要的库文件

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #coding:utf-8
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import re
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import sys
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     from bs4 
     
     import BeautifulSoup
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import urllib.request
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import time

 

 

接下来，我们进行爬虫伪装（伪装报头）

（本次教程的网站没有反爬虫机制，可以选择跳过）

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     headers = (
     
     'User-Agent', 
     
     'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1')
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener = urllib.request.build_opener()
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener.addheaders = {headers}
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     urllib.request.install_opener(opener)

 

 

我们从爬取单章开始，首先我们进入第一张的网址相见欢-第一章

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     url = 
     
     "http://www.lewendu8.com/books/21/21335/6381842.html"
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     file = urllib.request.urlopen(url)
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     data = BeautifulSoup(file , from_encoding=
     
     "utf8")

 

 

 

 

data = BeautifulSoup(file , from_encoding="utf8")

 

 

 

from_encoding="utf8"

我们需要将内容进行转码，否则中文将会以乱码形式出现

 

 

我们首先获取这章的名称

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     section_name = data.title.string
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     print(section_name)

 

    运行结果：

   

 

 

 

 

section_name = data.title.string

 

我们利用这句话获取文章的章名（我认为比较简便的一种方法）

 

接下来我们需要获取这章的内容！！（不然看什么小说呢？）

我们按F12进入开发者功能，找出存放内容的标签

 

 

按照父子顺序细细划分

 

于是，我们寻找到了存放内容的标签

用下述语句将内容存放至section_text中

 

section_text = data.select('#bgdiv .border_l_r #content p')[0].text

 

 

 

按照指定格式替换章节内容，运用正则表达式

 

section_text=re.sub( '\s+', '\r\n\t', section_text).strip('\r\n')

 

 

 

运行结果

 

至此，我们单章爬取任务完成

 

接下来我们任务当然是获取整本小说的内容了！

 

 

首先我们来比较一下每一章的网址

 

 

第一章：http://www.lewendu8.com/books/21/21335/6381842.html

第二章：http://www.lewendu8.com/books/21/21335/6381843.html

……

 

因此URL的构成：http://www.lewendu8.com/books/21/21335/章节序号.html

我们观察网页源代码可以发现：

其中next_page = "6381843.html"便是下一章的章节序号

因此我们在每个网页访问结束时，便可以进行访问下一章的网址

这里我们使用正则匹配获取下一章的章节序号

 

pt_nexturl = 'var next_page = "(.*?)"'

nexturl_num = re.compile(pt_nexturl).findall(str(data))

nexturl_num = nexturl_num[0]

 

当我们访问到相见欢最后一章时

 

当访问到最后一章时，我们的小说已经全部爬取结束

此时正则匹配到的信息为："http://www.lewendu8.com/books/21/21335/"

于是我们可以通过这个判断我们是否爬取结束

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     if(nexturl == 
     
     'http://www.lewendu8.com/books/21/21335/'):  
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     break

 

 

当我们爬取到了内容当然要进行文件读写进行存放

 

fp = open('相见欢.txt','a')

section_text = section_text

fp.write(section_name+"\n")

fp.write(section_text+"\n")

 

 

至此，本次爬取结束~您就可以将txt文件存放到手机上，看小说喽~

 

三、完整代码                                                                         

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #coding:utf-8
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #author:Ericam_
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import re
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import sys
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     from bs4 
     
     import BeautifulSoup
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import urllib.request
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import time
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     headers = (
     
     'User-Agent', 
     
     'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1')
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener = urllib.request.build_opener()
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener.addheaders = {headers}
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     urllib.request.install_opener(opener)
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     def get_download(url):
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         file = urllib.request.urlopen(url)
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         data = BeautifulSoup(file , from_encoding=
     
     "utf8")    
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         section_name = data.title.string
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         section_text = data.select(
     
     '#bgdiv .border_l_r #content p')[
     
     0].text        
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         section_text=re.sub( 
     
     '\s+', 
     
     '\r\n\t', section_text).strip(
     
     '\r\n')   
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp = open(
     
     '2.txt',
     
     'a')   
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp.write(section_name+
     
     "\n")  
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp.write(section_text+
     
     "\n")  
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp.close() 
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         pt_nexturl = 
     
     'var next_page = "(.*?)"'
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         nexturl_num = re.compile(pt_nexturl).findall(str(data))
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         nexturl_num = nexturl_num[
     
     0]
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     return nexturl_num
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     if __name__ == 
     
     '__main__':
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         url = 
     
     "http://www.lewendu8.com/books/21/21335/6381842.html"
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         num = 
     
     228
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         index = 
     
     1
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         get_download(url)
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     while(
     
     True):
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             nexturl = get_download(url)
    
    
    
   
   
  35. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             index += 
     
     1
    
    
    
   
   
  36. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             sys.stdout.write(
     
     "已下载:%.3f%%" % float(index/num*
     
     100) + 
     
     '\n')
    
    
    
   
   
  37. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             sys.stdout.flush()
    
    
    
   
   
  38. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             url = 
     
     "http://www.lewendu8.com/books/21/21335/"+nexturl
    
    
    
   
   
  39. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     if(nexturl == 
     
     'http://www.lewendu8.com/books/21/21335/'):
    
    
    
   
   
  40. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     break
    
    
    
   
   
  41. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         print(time.clock())
    
    
    
   
   
  42. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  43.

 

 

 

 

 

 

 

 

goodstudy@419
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 爬虫实践-抓取小说
迷路啦的博客
10-14 3259
1，了解学习 requests 库；网络请求的相关接口；拿到网页的源代码； 2，学会用 浏览器的 检查； 3，找到规律，写代码，实现自动化抓取；
Python实现番茄小说内容下载
python56123的博客
10-19 2159
嗨喽~大家好呀，这里是魔王呐 ❤ ~!
python爬虫番茄小说
m0_61248085的博客
11-21 4176
可以根据番茄小说id爬取对应小说内容，章节，章节名等
(Python爬虫)番茄小说-《超级上门女婿》
最新发布
qq_66640856的博客
06-03 2074
本文从爬虫案例出发，以爬取番茄小说网站中小说为例，详细介绍了网络爬虫的四个基本步骤：发送请求、获取数据、解析数据以及保存数据。首先，我们需要了解如何通过编写代码来发送HTTP请求与目标网站建立通信，并如何通过设置请求头，包括用户代理（User-Agent）、认证令牌（Tokens）、Cookies等信息来绕过网站的安全措施。接着，说明如何获取服务器响应的数据，并使用如parsel这类的HTML解析器，根据HTML文档结构提取有用信息。最后，讨论了数据的保存方法，包括存储格式的选择和数据处理的注意事项。
用python来爬取网络小说
kelvinfanyiang的博客
11-27 656
一直对推理小说感兴趣，之前也是在网上下载别人制作好的小说来看。但一方面，别人做的小说可能内容不全或者有很多错别字；另一方面，很多txt格式的小说没有目录，不方便跳转。因此，尝试用python爬取在线阅读网站的小说，并制作电子书目录。
python爬取小说网站_Python爬取小说网站下载小说
weixin_39844426的博客
12-04 542
1前言这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的因为这种网站基本没有反爬虫机制的，所以可以直接爬取该小程序以该网站http://www.126shu.com/15/下载全职法师为例2.requests库requests库非常得简单好用，他可以向网站发送请求，接收信息最简单的一个例子即是r = requests.get(url, timeout=30)r.raise_fo...
Python爬取小说网站的小说
05-05
通过以上步骤，你可以利用Python成功地爬取小说网站上的小说信息。但请记住，每个网站的结构不同，因此在实际操作时，需要根据具体情况进行调整。同时，随着网站更新，爬虫也需要定期维护以保持功能正常。
python爬虫-番茄小说下载的Python实现
11-21
这是一个用于从番茄小说网站下载小说的Python程序。它提供了一个简单的命令行界面，可以输入小说目录页面的URL并选择保存下载内容的编码格式。 特点： 从番茄网站下载小说。 允许用户在保存文件时选择UTF-8和GB2312编码之间的编码格式。 用户友好的命令行界面，具有提示和选项。 支持保存txt、epub两种格式 使用方法： 到Releases界面下载最新版本可执行程序 将程序放到合适的目录，双击运行 按照提示选择模式并同意条款和条件。 在提示时输入小说目录页面的URL。 在提示时选择保存文件时的编码格式（UTF-8或GB2312）。 选择是否自定义保存路径 程序将下载小说章节并将它们保存到以小说标题命名的文本文件中。 下载完成后，您可以在选择的目录中找的小说文件。
Python爬虫之小说信息爬取与数据可视化分析
qq_45145791的博客
01-06 2万+
文章目录一、小说数据的获取1.数据的获取2.数据写入.csv文件3.数据写入数据库二、数据的分析与可视化基于pandas库的分析基于matplotlib模块的分析三、作者遇到的一些问题的解决方法 作者有话说： 1、本文虽然是一篇技术性文章，但是分析的数据可以给喜欢看小说的人提供参考 2、本文涉及的是Python爬虫精进的知识 3、作者想通过分享，让许多正在学习Python爬虫的提供帮助。 4、文章若有不足之处，请指教。可以在评论区自由发表观点以及提出问题，作者会及时回应。 一、小说数据的获取 1.数据的获取
python爬虫——爬取快读小说app
小爬虫的博客
06-25 4848
1. 爬取结果（csv文件，出现了有两个表头…不明所以，无关大雅） 2. 使用fiddler4进行抓包 通过观察url，我们不难发现其中的规律，要实现进行分类抓取，需要更改url第一个数字，如下 https://sc.canrike.com/Categories/1/hot/1.html https://sc.canrike.com/Categories/2/hot/1.html 要实现翻页...
python爬虫，爬取小说案例，仅供参考
小赚峰的博客
07-30 1557
在初学python爬虫时，第一个自己的爬虫最难写。你时不时会因为这样那样的原因爬取失败。这个案例是我写成功的第一个小爬虫，特别开心。 刚开始写的时候，一切都很顺利。跑一跑，结果却报错，大概是连接不上，连接超时。 所以我就上网找了许多代理ip池案例，都不是我能懂的。最后终于找到一个易懂的案例，改改，就连上我的爬取代码。没想到，还成功了。 ...
python爬虫，简单的爬取小说网站的阅读排名
qq_40666620的博客
11-03 2088
现在大部分网站感觉都上了反扒的东西，直接写底层很难得到准确结果 首先要安装requests,lxml pip方式： pip install requests pip install lxml 具体代码： import requests from lxml import etree #构造自己的数据结果类 class xuanhuan: def __init__(self,ranking...
python爬取小说（二）书籍基本信息爬取
MTbaby的博客
08-21 2371
爬完数据目录和内容后，我们来爬取书籍的基本信息。 在上篇博客的基础上，爬取书籍信息并存入字典 # -*- coding: utf-8 -*- import urllib.request import bs4 import re import sqlite3 def getHtml(url): user_agent = "Mozilla/5.0 (Windows NT 10.0...
python爬虫实战——小说爬取
热门推荐
cuc_pyx技术小站
05-21 2万+
基于requests库和lxml库编写的爬虫，目标小说网站域名http://www.365kk.cc/，类似的小说网站殊途同归，均可采用本文方法爬取。
利用python爬取养老院数据
08-16
利用Python爬取养老院数据是一种通过自动化程序获取互联网上关于养老院的信息的方法。Python是一种简单易学的编程语言，具有强大的网络爬取功能，可以帮助我们实现这个目标。 首先，需要选择一个合适的爬虫框架，比如Scrapy或BeautifulSoup。这些框架可以帮助我们简化数据爬取的流程。 接下来，我们需要确定要爬取的养老院的网站。可以从搜索引擎中找到一系列相关的养老院网站，并逐个进行分析。从网站中找到关于养老院的信息，比如名称、地址、电话、服务项目等。 然后，我们需要编写Python代码来实现数据的爬取。首先，需要使用HTTP请求库来向网站发送请求，获取网页源代码。然后，使用解析库来解析网页源代码，提取需要的信息。最后，使用存储库将提取的数据保存到本地或数据库。 在进行爬取过程时，需要注意法律和道德规范。确保遵守网站的爬取政策，以免侵犯他人的权益。爬取过程中也需要注意网站服务器的压力，避免给服务器带来过大的负担。 总结起来，利用Python爬取养老院数据是一种有效的方式，可以帮助我们快速获取互联网上的养老院信息。通过选择合适的爬虫框架和编写相应的代码，可以实现自动化数据爬取，从而节省时间和精力。同时，也需要遵守法律和道德规范，保护个人隐私和网站的正常运营。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值