Bs4解析__爬取《论语》

最新推荐文章于 2024-08-15 01:55:01 发布
最新推荐文章于 2024-08-15 01:55:01 发布
阅读量1k 收藏 2
点赞数
文章标签： python chrome html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57675076/article/details/122024325
版权
本文介绍了如何利用Python的BeautifulSoup库（Bs4）从古诗文网下载并解析《论语》的全文。首先，通过Chrome获取URL并发起请求，接着创建一个txt文件用于储存内容。然后，遍历每个文章详情页，解析页面中的章节内容，并保存到txt文件中。最后，提供了完整的爬虫代码实现。
摘要由CSDN通过智能技术生成

在古诗文网下载论语全文

url

https://so.gushiwen.cn/guwen/book_46653FD803893E4F75696240258265D2.aspx

请求

headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 Edg/96.0.1054.29"}

url = 'https://so.gushiwen.cn/guwen/book_46653FD803893E4F75696240258265D2.aspx'
page_text= requests.get(url=url,headers=headers).text
实例化BeautifulSoup对象
soup = BeautifulSoup(page_text,'lxml')
span_list = soup.select('.bookcont > ul > span')

创造论语txt文件

fp=open('论语.txt','w',encoding= 'utf-8')

对应文章详情页的url

for span in span_list:
    title = span.a.string
    zj_url = span.a['href']

对详情页发起请求，对章节内容进行解析

zj_url_text = requests.get(url=zj_url,headers=headers).tex
最低0.47元/天 解锁文章
小西--lx
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
s标签s:select下拉列表的使用
细节打败一切
03-16 2万+
现象：jsp页面中s:select标签的使用原因：在struts2框架开发中，有时候jsp页面需要用s标签来写，因为s标签能自动读取值栈中相匹配的字段信息。其中s:select怎么使用呢？ 解决方案： 1：当下拉列表的选项固定且简单的时候可以使用如下方法<s:select id="type" name="type" class="ComboType" list="#{'1':'WiFi',
python的requests和bs4库爬取小说全文
weixin_42355607的博客
05-25 1358
昨天，数据猿爬取到了笔趣小说一个近2735章的爽文小说，整个过程较为顺利。 今天，数据猿整理了一下代码，分享给大家。 目录如下： 文章目录第0步，准备第1步，分析目标网页第2步，解析页面bs4解析章节页面bs4解析内容页面第3步，自动化爬取伪装浏览器响应头章节→内容设置休眠时间小结(完整代码)： 第0步，准备 本文运行环境：Python3.8，Pycharm；Win10系统 需要的库 ：requests、bs4、re 、fake-useagent 整个爬虫的思路是 找到目标小说的所有章节链接 根据所有
requests模拟登陆的三种方式
weixin_33910759的博客
06-22 1084
###获取登录后的页面三种方式： 一、实例化seesion,使用seesion发送post请求,在使用他获取登陆后的页面 import requestssession = requests.session()post_url="http://www.renren.com/plogin.do";post_data={"email":"2290187229@qq.com","password":"...
爬取古诗文网
qq_45655136的博客
05-08 3479
针对数据的采集，是通过采用python网络爬虫技术进行采集古诗文网站的网页信息，通过Requests库模拟请求，并使用突破反爬、广度优先与深度优先遍历等策略。 首先，看古诗文网页的布局有很多的诗词分类，以爬取唐诗三百首页面为例，页面中诗名是以小标题排列的顺序，点击标题可以看到对应诗经的内容及其注释。所以先爬取该网页上的诗经“目录”区域的所有诗名的链接，并把链接存储到数组中，然后分别访问这些链接，并获取链接中的需要的网页内容。 爬虫第一步获取数据过程，使用python中的第三方库requests库，利用req
re,xpath,BeautifulSoup三种方法爬取古诗词网上诗歌
weixin_30596343的博客
09-25 771
re，xpath ，bs4对同一个页面的解析速度发现re比xpath快接近10倍，xpath比bs4快接近10倍可见要想追求极致速度，使用正则表达式解析有多重要 1、re解析的代码 # 使用正则表达式解析网页元素 # 关键点:直接找每个个体里面相同位置的元素，用findall一次提取出来到列表中 import requests import re DATA = [] de...
三、数据解析
Poolhuang的博客
09-13 865
学无止境
Python爬虫之爬取豆瓣图书TOP250
JinTian312的博客
01-21 7875
爬取豆瓣图书TOP250图书信息及图书海报 写这篇主要是为了去图书馆不知道看什么书或者不知道该买些什么书的时候可以参考经过众多豆友们点评出的好书推荐，哈哈哈哈哈。 上代码（全部代码均在这里，只是分开按照步骤解释一下） 第一步：导入需要用到的包。 from bs4 import BeautifulSoup # 网页解析，获取数据 import urllib.request, urllib.error # 指定url，获取网页数据 import re
爬虫学习（12）：爬取诗词名句网并且下载保存
全栈川川
02-05 1099
效果： 缺陷：有些部分文本不换行，暂时没找到解决办法，凑合下 由于我是正在自学爬虫，不是很能找到非常优化的办法，还请大神指点,这是我扣扣群：970353786，希望更多喜欢学习python的可以跟我一起学习交流。 上代码： import requests from bs4 import BeautifulSoup headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM
bs4_链家数据爬取_链家数据爬取_
09-30
综上所述，“bs4_链家数据爬取”项目涵盖了Python网络爬虫的多个重要方面：BeautifulSoup的HTML解析、动态数据的获取、反爬策略的实施、数据清洗与处理、以及数据的存储和可视化。通过这个项目，我们可以学习并实践...
python2使用bs4爬取腾讯社招过程解析
09-18
在本教程中，我们将深入探讨如何使用Python2和BeautifulSoup4库（简称bs4）来爬取腾讯的社会招聘页面，获取职位信息，并将其保存为JSON文件。首先，我们需要了解几个关键概念和技术。 **BeautifulSoup4** 是一个...
数据爬取_bs4解析器1
08-03
from bs4 import BeautifulSoup html = """ <html><head><title>The Dormouse's story</title></head> ... """ soup = BeautifulSoup(html) ``` 如果在IPython环境中运行这段代码，可能会出现警告，提示未明确...
bs4-requests爬取图片_爬取图片_python_
10-01
本教程将深入探讨如何使用`BeautifulSoup4`（简称`bs4`）和`requests`库来爬取网页上的图片。`bs4`是解析HTML和XML文档的强大工具，而`requests`则负责发起HTTP请求获取网页内容。 首先，我们需要了解`requests`库...
BS.rar_bs远控_远控_远控 VC
09-21
【标题】"BS.rar_bs远控_远控_远控_VC" 暗示着这是一个关于BS架构（Browser-Server，浏览器-服务器架构）的远程控制程序，可能使用了VC++（Visual C++）作为开发工具。在IT领域，远程控制软件允许用户通过网络从一台...
用requests.get爬取网站时遇到TimeoutError、urllib3.exceptions.ConnectTimeoutError等问题
qq_41637232的博客
08-02 6851
今天在爬诗词名句网站上的三国演义内容时，遇到了反爬，采用requests.get(url=url, headers=headers)会产生以下报错： Traceback (most recent call last): File "F:\anaconda3\envs\Python3.8\lib\site-packages\urllib3\connection.py", line 159, in _new_conn conn = connection.create_connection( Fi
【Python】入门到放弃之第九章《字典》
最新发布
MP13537560060的博客
08-15 622
这是本系列的第九章节内容，《字典》。在Python中，字典（Dictionary）是一种内置的数据结构，用于存储键值对（key-value pairs）。字典是可变的，意味着你可以在创建字典后添加、删除或修改其中的元素。字典的键（key）必须是唯一的，并且是不可变的（即，它们必须是不可变数据类型，如字符串、数字或元组，但不能是列表或字典等可变类型）。字典的值（value）则可以是任何数据类型，包括列表、元组、字典等。以上，就是Python中字典的全部内容。
【python学习】深入解析 `jq` 库：JSON 处理的利器
m0_54007171的博客
08-13 396
jq库是 Python 对流行的命令行工具jq的封装。它允许你直接在 Python 中使用jq的查询语言来处理 JSON 数据。借助jq，你可以轻松地对 JSON 数据进行过滤、选择、转换、聚合等操作，极大地简化了代码复杂度。
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 773
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
python爬取数据教程_python爬虫爬取网页数据并解析数据
06-09
好的，下面是一个简单的Python爬虫爬取网页数据并解析数据的教程： 1. 确定目标网站和要爬取的信息 首先，需要确定要爬取的网站和要提取的信息。可以使用Python的requests库向网站发送HTTP请求获取HTML源代码，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值