38行代码爬取中国散文网上的纯文本段落

最新推荐文章于 2024-09-17 23:15:58 发布

智算菩萨

最新推荐文章于 2024-09-17 23:15:58 发布

阅读量1k

点赞数 6

文章标签： python 开发语言

本文链接：https://blog.csdn.net/nmdbbzcl/article/details/141764802

版权

环境准备

在开始编写代码之前，请确保你的Python环境中已经安装了selenium和beautifulsoup4库。同时，你还需要下载并配置Microsoft Edge WebDriver，因为我们将使用Edge浏览器来模拟用户的网页访问行为。WebDriver的路径需要根据你的系统环境进行设置。

安装Selenium和BeautifulSoup：
```
pip install selenium beautifulsoup4
```
下载并配置Edge WebDriver：下载链接（注意选择与你的Edge浏览器版本相匹配的WebDriver）

编写代码

以下是一个简洁的Python脚本，用于从中国散文网（或其他类似网站）爬取纯文本段落，并将它们保存到TXT文件中。

from selenium import webdriver  
from selenium.webdriver.edge.service import Service  
from bs4 import BeautifulSoup  
import os  
  
# 指定Edge WebDriver的路径  
edge_service = Service(executable_path='C:\\Users\\LENOVO\\Desktop\\爬虫\\实验\\msedgedriver.exe')  
  
# 初始化Edge WebDriver  
driver = webdriver.Edge(service=edge_service)  
  
# 使用input函数获取用户输入的网址  
url = input("请输入您想要打开的网址: ")  
  
# 打开用户输入的网址  
driver.get(url)  
  
# 获取网页的HTML源代码和标题  
page_source = driver.page_source  
soup = BeautifulSoup(page_source, 'html.parser')  
title = soup.title.string if soup.title else "default_title"  # 如果标题不存在，则使用默认标题  
  
# 处理文件名，去除非法字符  
filename = "".join(c if c.isalnum() or c.isspace() else '_' for c in title).rstrip().replace(" ", "_") + ".txt"  
  
# 查找所有的<p>标签  
paragraphs = soup.find_all('p')  
  
# 同时打印到控制台和写入TXT文件  
with open(filename, 'w', encoding='utf-8') as file:  
    for p in paragraphs:  
        text = p.get_text(strip=True)  
        if text:  # 避免写入空行或打印空行  
            print(text)  # 打印到控制台  
            file.write(text + "\n")  # 写入TXT文件  
  
# 关闭浏览器  
driver.quit()

代码解析

导入库：首先，我们导入了必要的库，包括webdriver、Service（用于启动和管理WebDriver服务）、BeautifulSoup（用于解析HTML）和os（虽然在这段代码中未直接使用，但在处理文件路径时可能会用到）。
配置WebDriver：指定了Edge WebDriver的路径，并初始化了WebDriver实例。
用户输入：通过input函数获取用户想要爬取的网页URL。
访问网页：使用WebDriver打开用户输入的URL。
解析HTML：获取网页的HTML源代码，并使用BeautifulSoup进行解析。
提取标题和文本：从解析后的HTML中提取网页标题和所有<p>标签内的文本。
处理文件名：将网页标题转换为合法的文件名，并添加.txt后缀。
写入文件：将提取的文本同时打印到控制台并写入TXT文件。
关闭浏览器：完成所有操作后，关闭WebDriver实例以释放资源。

扩展应用

虽然上述代码针对的是特定网站上的文本提取任务，但其核心逻辑——使用Selenium模拟浏览器访问、BeautifulSoup解析HTML、提取特定元素文本——具有广泛的应用价值。通过修改URL、解析逻辑和元素选择器，你可以轻松地将这段代码应用于其他网站，实现类似的数据抓取任务。

此外，对于需要处理登录验证、JavaScript渲染内容或动态加载数据的网站，Selenium提供了强大的浏览器自动化能力，能够帮助你克服这些障碍，实现更复杂的网页数据抓取。

常见问题：WebDriver的安装方法

如果您需要使用Selenium和WebDriver来处理动态网页内容（如JavaScript渲染的内容），这里是一个详细的指南来帮助您安装和配置WebDriver。

安装Selenium和WebDriver

1. 安装Python和pip

确保您已经安装了Python和pip。可以在命令行中运行以下命令来检查是否已经安装：

python --version
pip --version

2. 安装Selenium

使用pip安装Selenium库：

pip install selenium

3. 下载WebDriver

对于不同的浏览器，您需要下载相应的WebDriver：

Chrome WebDriver：
1. 访问 ChromeDriver 下载页面。
2. 根据您的Chrome浏览器版本下载对应的ChromeDriver版本。
3. 将下载的文件解压，并将chromedriver.exe放到一个合适的目录（例如C:\webdrivers）。
Firefox WebDriver（GeckoDriver）：
1. 访问 GeckoDriver 下载页面。
2. 下载适用于您系统的GeckoDriver版本。
3. 将下载的文件解压，并将geckodriver.exe放到一个合适的目录（例如C:\webdrivers）。