利用python爬取小说(转载)

最新推荐文章于 2025-04-03 10:51:52 发布
最新推荐文章于 2025-04-03 10:51:52 发布
阅读量1.9k 收藏 6
点赞数
分类专栏： 爬虫 文章标签： 爬取小说 
				版权声明：本文为博主原创文章，未经博主允许不得转载。					https://blog.csdn.net/xjm850552586/article/details/78585286				</div>
							            <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-f57960eb32.css">
					<div class="htmledit_views" id="content_views">
            <p><span style="color:#3f3f3f;"><strong>运行平台：</strong></span><span style="color:#3f3f3f;"><strong>&nbsp;<a href="https://www.baidu.com/s?wd=Windows&amp;tn=24004469_oem_dg&amp;rsv_dl=gh_pl_sl_csd" target="_blank">Windows</a>&nbsp;</strong></span></p>

Python版本： Python3.x 

 

一、库文件                                       

re 
sys
BeautifulSoup
urllib.request
time

二、实战                                           

（1）背景介绍

从乐文小说网站上爬取小说相见欢，并存放至txt文件中

URL： 相见欢

 

（2）Beautifu  Soup库的简介

 

  简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

  • Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

  • Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

  • Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

详细请戳这里：Beautiful Soup 4.2.0文档

 

 

（3）实战进行中……

【重要】：python想要使用汉字，需要在脚本最前面添加 #coding:utf-8，汉字使用的编码为utf-8，否则会出现错误）

首先，我们引入我们需要的库文件

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #coding:utf-8
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import re
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import sys
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     from bs4 
     
     import BeautifulSoup
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import urllib.request
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import time

 

 

接下来，我们进行爬虫伪装（伪装报头）

（本次教程的网站没有反爬虫机制，可以选择跳过）

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     headers = (
     
     'User-Agent', 
     
     'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1')
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener = urllib.request.build_opener()
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener.addheaders = {headers}
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     urllib.request.install_opener(opener)

 

 

我们从爬取单章开始，首先我们进入第一张的网址相见欢-第一章

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     url = 
     
     "http://www.lewendu8.com/books/21/21335/6381842.html"
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     file = urllib.request.urlopen(url)
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     data = BeautifulSoup(file , from_encoding=
     
     "utf8")

 

 

 

 

data = BeautifulSoup(file , from_encoding="utf8")

 

 

 

from_encoding="utf8"

我们需要将内容进行转码，否则中文将会以乱码形式出现

 

 

我们首先获取这章的名称

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     section_name = data.title.string
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     print(section_name)

 

    运行结果：

   

 

 

 

 

section_name = data.title.string

 

我们利用这句话获取文章的章名（我认为比较简便的一种方法）

 

接下来我们需要获取这章的内容！！（不然看什么小说呢？）

我们按F12进入开发者功能，找出存放内容的标签

 

 

按照父子顺序细细划分

 

于是，我们寻找到了存放内容的标签

用下述语句将内容存放至section_text中

 

section_text = data.select('#bgdiv .border_l_r #content p')[0].text

 

 

 

按照指定格式替换章节内容，运用正则表达式

 

section_text=re.sub( '\s+', '\r\n\t', section_text).strip('\r\n')

 

 

 

运行结果

 

至此，我们单章爬取任务完成

 

接下来我们任务当然是获取整本小说的内容了！

 

 

首先我们来比较一下每一章的网址

 

 

第一章：http://www.lewendu8.com/books/21/21335/6381842.html

第二章：http://www.lewendu8.com/books/21/21335/6381843.html

……

 

因此URL的构成：http://www.lewendu8.com/books/21/21335/章节序号.html

我们观察网页源代码可以发现：

其中next_page = "6381843.html"便是下一章的章节序号

因此我们在每个网页访问结束时，便可以进行访问下一章的网址

这里我们使用正则匹配获取下一章的章节序号

 

pt_nexturl = 'var next_page = "(.*?)"'

nexturl_num = re.compile(pt_nexturl).findall(str(data))

nexturl_num = nexturl_num[0]

 

当我们访问到相见欢最后一章时

 

当访问到最后一章时，我们的小说已经全部爬取结束

此时正则匹配到的信息为："http://www.lewendu8.com/books/21/21335/"

于是我们可以通过这个判断我们是否爬取结束

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     if(nexturl == 
     
     'http://www.lewendu8.com/books/21/21335/'):  
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     break

 

 

当我们爬取到了内容当然要进行文件读写进行存放

 

fp = open('相见欢.txt','a')

section_text = section_text

fp.write(section_name+"\n")

fp.write(section_text+"\n")

 

 

至此，本次爬取结束~您就可以将txt文件存放到手机上，看小说喽~

 

三、完整代码                                                                         

 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #coding:utf-8
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #author:Ericam_
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import re
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import sys
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     from bs4 
     
     import BeautifulSoup
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import urllib.request
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     import time
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     headers = (
     
     'User-Agent', 
     
     'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1')
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener = urllib.request.build_opener()
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     opener.addheaders = {headers}
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     urllib.request.install_opener(opener)
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     def get_download(url):
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         file = urllib.request.urlopen(url)
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         data = BeautifulSoup(file , from_encoding=
     
     "utf8")    
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         section_name = data.title.string
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         section_text = data.select(
     
     '#bgdiv .border_l_r #content p')[
     
     0].text        
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         section_text=re.sub( 
     
     '\s+', 
     
     '\r\n\t', section_text).strip(
     
     '\r\n')   
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp = open(
     
     '2.txt',
     
     'a')   
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp.write(section_name+
     
     "\n")  
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp.write(section_text+
     
     "\n")  
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fp.close() 
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         pt_nexturl = 
     
     'var next_page = "(.*?)"'
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         nexturl_num = re.compile(pt_nexturl).findall(str(data))
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         nexturl_num = nexturl_num[
     
     0]
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     return nexturl_num
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     if __name__ == 
     
     '__main__':
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         url = 
     
     "http://www.lewendu8.com/books/21/21335/6381842.html"
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         num = 
     
     228
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         index = 
     
     1
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         get_download(url)
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     while(
     
     True):
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             nexturl = get_download(url)
    
    
    
   
   
  35. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             index += 
     
     1
    
    
    
   
   
  36. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             sys.stdout.write(
     
     "已下载:%.3f%%" % float(index/num*
     
     100) + 
     
     '\n')
    
    
    
   
   
  37. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             sys.stdout.flush()
    
    
    
   
   
  38. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             url = 
     
     "http://www.lewendu8.com/books/21/21335/"+nexturl
    
    
    
   
   
  39. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     if(nexturl == 
     
     'http://www.lewendu8.com/books/21/21335/'):
    
    
    
   
   
  40. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     break
    
    
    
   
   
  41. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         print(time.clock())
    
    
    
   
   
  42. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  43.

 

 

 

 

 

 

 

 

python实战项目40--采集番茄小说网小说
lyccomcn的博客
10-11 4917
数据提取使用的是python的第三方库parsel。找到数据接口，为网页文件。
Python 爬虫实践-抓取小说
迷路啦的博客
10-14 3755
1，了解学习 requests 库；网络请求的相关接口；拿到网页的源代码； 2，学会用 浏览器的 检查； 3，找到规律，写代码，实现自动化抓取；
python爬虫番茄小说
m0_61248085的博客
11-21 7034
可以根据番茄小说id爬取对应小说内容，章节，章节名等
【python】简单小说爬取
最新发布
长歌的博客
04-03 668
爬取小说看似方便，但背后隐藏着法律风险和道德问题。小说是作者的心血，爬取行为可能侵犯版权，甚至引发法律纠纷。支持正版不仅是对创作者的尊重，也能让你享受更优质的阅读体验。许多平台提供免费试读或优惠活动，满足你的阅读需求。让我们共同守护创作的净土，选择合法途径，支持正版，尊重原创，让阅读更美好！
Python实现番茄小说内容下载
python56123的博客
10-19 3286
嗨喽~大家好呀，这里是魔王呐 ❤ ~!
(Python爬虫)番茄小说-《超级上门女婿》
qq_66640856的博客
06-03 6090
本文从爬虫案例出发，以爬取番茄小说网站中小说为例，详细介绍了网络爬虫的四个基本步骤：发送请求、获取数据、解析数据以及保存数据。首先，我们需要了解如何通过编写代码来发送HTTP请求与目标网站建立通信，并如何通过设置请求头，包括用户代理（User-Agent）、认证令牌（Tokens）、Cookies等信息来绕过网站的安全措施。接着，说明如何获取服务器响应的数据，并使用如parsel这类的HTML解析器，根据HTML文档结构提取有用信息。最后，讨论了数据的保存方法，包括存储格式的选择和数据处理的注意事项。
python爬取js_利用python如何爬取js里面的内容
weixin_39639965的博客
11-20 3183
本篇文章给大家分享的内容是3利用python如何爬取js里面的内容 ，有着一定的参考价值，有需要的朋友可以参考一下一、在编写爬虫软件获取所需内容时可能会碰到所需要的内容是由javascript添加上去的 在获取的时候为空 比如我们在获取新浪新闻的评论数时使用普通的方法就无法获取普通获取代码示例：import requestsfrom bs4 import BeautifulSoupres = re...
python爬取pdf教程_#如何利用Python抓取PDF中的某些内容#python爬取pdf教程
weixin_29105429的博客
02-21 2610
如何利用Python抓取PDF中的某些内容学生每天要学习，工作者要工作，家庭主妇每都要务。不论做什么，都有着相应的操作流同样就会有操作技巧。学生运用技巧学习才不会累，学得还会更快更多；工作者掌握技巧进行工作，才能有好的工作效率；家庭主妇把握做家务的技巧，才能够更快的完成家务活。因此说明了，做任何事学会了技巧，才可更轻松更好的完成。小编原来做事就因为不懂得学习技巧，掌握技巧，导致浪费了时间，结果做出...
利用Python爬取拉勾网招聘信息
lz你ps的博客
08-12 2406
文章目录第一步：导入工具库第二步：爬取数据第三步：解析数据第四步：保存数据完整代码结果 第一步：导入工具库 import requests,json,csv,time 第二步：爬取数据 因为拉勾使用异步加载方式对数据进行了封装，所以不能直接用requests库的get或post方法，而是使用session会话。 构建session会话 session = requests.session() 构建请求头 headers = { 'referer' : 'https://www.lagou.co
python爬取大众点评数据_python爬虫实例详细介绍之爬取大众点评的数据
weixin_39785858的博客
11-20 2318
python 爬虫实例详细介绍之爬取大众点评的数据一．Python作为一种语法简洁、面向对象的解释性语言，其便捷性、容易上手性受到众多程序员的青睐，基于python的包也越来越多，使得python能够帮助我们实现越来越多的功能。本文主要介绍如何利用python进行网站数据的抓取工作。我看到过利用c++和Java进行爬虫的代码，c++的代码很复杂，而且可读性、可理解性较低，不易上手，一般是那些高手用...
Python爬取百度图片
Python研究所
01-11 905
此文转载自：https://blog.csdn.net/qq_52907353/article/details/112391518#commentBox 今天要写的是爬取百度图片 一、分析过程 1.首先，打开百度，然后打开我们的抓包工具 然后搜索一个内容，点击图片 2.之前用鼠标滚轮往下滑的过程中，发现图片是动态加载出来的，也就说明这是一个ajax请求。 有了这些思路，打开我们...
python爬虫-番茄小说下载的Python实现
11-21
这是一个用于从番茄小说网站下载小说的Python程序。它提供了一个简单的命令行界面，可以输入小说目录页面的URL并选择保存下载内容的编码格式。 特点： 从番茄网站下载小说。 允许用户在保存文件时选择UTF-8和GB2312编码之间的编码格式。 用户友好的命令行界面，具有提示和选项。 支持保存txt、epub两种格式 使用方法： 到Releases界面下载最新版本可执行程序 将程序放到合适的目录，双击运行 按照提示选择模式并同意条款和条件。 在提示时输入小说目录页面的URL。 在提示时选择保存文件时的编码格式（UTF-8或GB2312）。 选择是否自定义保存路径 程序将下载小说章节并将它们保存到以小说标题命名的文本文件中。 下载完成后，您可以在选择的目录中找的小说文件。
番茄小说txt免费下载python永久更新
01-26
番茄小说txt免费下载python永久更新
用python来爬取网络小说
kelvinfanyiang的博客
11-27 841
一直对推理小说感兴趣，之前也是在网上下载别人制作好的小说来看。但一方面，别人做的小说可能内容不全或者有很多错别字；另一方面，很多txt格式的小说没有目录，不方便跳转。因此，尝试用python爬取在线阅读网站的小说，并制作电子书目录。
基于python+django的爬取番茄小说数据及可视化系统设计与实现大数据分析系统
专注于大学生项目实战开发,讲解,毕业答疑辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。
09-21 1197
💗博主介绍：✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗👇🏻精彩专栏 推荐订阅👇🏻2025-2026年最值得选的微信小程序毕业设计选题大全：100个热门选题推荐✅2025-2026年最值得选的Java毕业设计选题大全：500个热门选题推荐✅Java毕业设计项目精品实战案例《3000套》微信小程序毕业设计项目精品案例《3000套》
基于python+django的爬取番茄小说数据及可视化推荐系统(源码+lw+部署文档+讲解等)
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
01-20 1886
一、系统概述 该系统利用 Python 语言和 Django 框架开发，主要实现对番茄小说数据的爬取、存储、分析及可视化展示。它可以帮助用户深入了解番茄小说平台的小说数据，为小说爱好者、作者或平台运营者提供有价值的信息。 二、功能模块 数据爬取模块： 使用 Python 的 requests 和 BeautifulSoup 或 Scrapy 等库，根据用户设定的关键字或类别，从番茄小说网站爬取数据，包括小说名称、作者、章节列表、评分、评论、阅读量等信息。 可以模拟用户的浏览行为，突破反爬虫机制，确保数据的稳
python爬取小说网站_Python爬取小说网站下载小说
weixin_39844426的博客
12-04 626
1前言这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的因为这种网站基本没有反爬虫机制的，所以可以直接爬取该小程序以该网站http://www.126shu.com/15/下载全职法师为例2.requests库requests库非常得简单好用，他可以向网站发送请求，接收信息最简单的一个例子即是r = requests.get(url, timeout=30)r.raise_fo...
Python爬虫之小说信息爬取与数据可视化分析
热门推荐
qq_45145791的博客
01-06 2万+
文章目录一、小说数据的获取1.数据的获取2.数据写入.csv文件3.数据写入数据库二、数据的分析与可视化基于pandas库的分析基于matplotlib模块的分析三、作者遇到的一些问题的解决方法 作者有话说： 1、本文虽然是一篇技术性文章，但是分析的数据可以给喜欢看小说的人提供参考 2、本文涉及的是Python爬虫精进的知识 3、作者想通过分享，让许多正在学习Python爬虫的提供帮助。 4、文章若有不足之处，请指教。可以在评论区自由发表观点以及提出问题，作者会及时回应。 一、小说数据的获取 1.数据的获取
python爬虫——爬取快读小说app
小爬虫的博客
06-25 5278
1. 爬取结果（csv文件，出现了有两个表头…不明所以，无关大雅） 2. 使用fiddler4进行抓包 通过观察url，我们不难发现其中的规律，要实现进行分类抓取，需要更改url第一个数字，如下 https://sc.canrike.com/Categories/1/hot/1.html https://sc.canrike.com/Categories/2/hot/1.html 要实现翻页...
https://blog.csdn.net/sytzz/article/details/4473401?spm=1001.2660.3001.10198&utm_medium=distribute.pc_feed_vip_blog_category.none-task-blog-classify_tag-10-4473401-null-null.nonecase&depth_1-utm_source=distribute.pc_feed_vip_blog_category.none-task-blog-classify_tag-10-4473401-null-null.nonecase 这篇文章里的方法步骤是什么
03-29
### 使用Selenium爬取CSDN博客文章并提取数据 为了完成对CSDN博客文章的自动化抓取任务，可以采用Selenium这一强大的工具来模拟浏览器行为。以下是基于引用内容总结的操作方法和步骤： #### 1. 安装必要的依赖项 在开始之前，需安装所需的Python库以支持Selenium的功能。这通常包括`selenium`库本身以及其他可能需要用到的辅助库，比如用于解析HTML文档的`BeautifulSoup`[^1]。 ```bash pip install selenium beautifulsoup4 ``` #### 2. 配置 WebDriver Selenium需要通过WebDriver接口控制特定的浏览器实例。对于主流浏览器（如Chrome或Firefox），下载对应的驱动程序是必不可少的第一步。例如，在使用Google Chrome的情况下，应先下载[Chromedriver](https://sites.google.com/a/chromium.org/chromedriver/)并与脚本放置在同一目录下或者配置环境变量使其可被识别。 ```python from selenium import webdriver driver = webdriver.Chrome(executable_path='path/to/chromedriver') ``` #### 3. 访问目标网页 利用已初始化好的webdriver对象访问指定URL地址即要爬取的目标CSDN博文链接。这里假设我们要处理的是ID为'4473401'的具体某篇帖子，则可以通过拼接标准格式化字符串构建完整的请求路径: ```python url = f"https://blog.csdn.net/username/article/details/{article_id}" driver.get(url) ``` #### 4. 提取所需的数据字段 一旦加载好页面之后就可以运用XPath表达式或者其他定位策略选取感兴趣的内容片段了。考虑到实际应用中的复杂性和多样性，下面给出了一种通用的方式用来获取标题、正文以及评论区的主要部分[^1][^2]: ```python from bs4 import BeautifulSoup # 获取整个DOM树结构 html_source = driver.page_source soup = BeautifulSoup(html_source, 'lxml') title = soup.find('h1', class_='title-article').text.strip() content_div = soup.find(id="content_views").get_text(separator="\n", strip=True) comments_section = [] for comment in soup.select('.comment-content'): comments_section.append(comment.text.strip()) ``` #### 5. 数据存储与后续处理 最后一步就是决定如何保存收集来的资料以便进一步分析研究。可以选择将其写入本地文件系统或者是上传至云端数据库等等多种方式实现持久化的记录保留. --- ### 复制他人CSDN文章到个人博客流程概述 如果只是单纯想搬运他人的作品而非真正意义上做网络爬虫开发的话，那么按照如下简单几步也可以轻松达成目的: 1. **打开目标文章**: 找到想要转载的文章页面。 2. **启用开发者模式**: 按快捷键 `F12`, 进而激活浏览器内置调试面板。 3. **查找关键区域标记`: Ctrl + F 输入 "article_content"` 来快速定位主体阅读区块位置. 4. **拷贝元素节点**: 对准匹配上的div容器右击菜单选项 -> Copy -> Copy Element . 5. **另存为 HTML 文件**: 创建一个新的纯文本档并将刚才剪贴板里的东西粘进去再改扩展名为.html形式 ,双击运行就能看到效果啦 ! 6. **转换成 MarkDown 格式**: 推荐借助第三方应用程序像 Typora 把 html 转 markdown 后再次编辑调整样式布局直至满意为止后再提交发表上去即可[^5]. 注意：务必遵循版权规定声明出处！ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值