使用Python 和 Selenium 实现 CSDN 文章 质量分数查询 附源码

在这篇博客中，我们将详细解析如何使用Selenium库来实现网页自动化操作。我们将以一个具体的例子为基础，展示如何在CSDN网站上输入链接并查询文章质量分数。

依赖库

在开始之前，请确保你已经安装了以下依赖库：

• Selenium
• Chrome浏览器及其驱动程序

你可以使用以下命令通过pip进行安装：

pip install selenium

步骤

1. 设置Chrome选项

为了使用Selenium控制Chrome浏览器，我们需要设置一些选项。以下是设置Chrome选项的代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

• headless: 启用无头模式，浏览器将在后台运行，不显示图形界面。
• disable-gpu: 禁用GPU加速。
• no-sandbox: 禁用沙盒模式。
• disable-dev-shm-usage: 禁用/dev/shm的使用，防止共享内存不足的问题。

在这里，我们启用了无头模式（--headless），这意味着浏览器将在后台运行，不会显示图形界面。其他选项用于优化性能和兼容性。

2. 创建Chrome浏览器实例

接下来，我们创建一个新的Chrome浏览器实例：

driver = webdriver.Chrome(options=chrome_options)

• 打开CSDN的查询页面。

3. 打开目标URL

我们需要打开CSDN的查询页面：

driver.get("https://www.csdn.net/qc")

4. 输入链接并触发查询

找到输入框并输入需要查询的文章链接，然后触发查询按钮：

from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

input_element = driver.find_element(By.CSS_SELECTOR, 'input[placeholder="输入 CSDN 站内任意博文链接查询分析"]')
input_element.send_keys(input('请输入需要查询的文章：'))
input_element.send_keys(Keys.ENTER)

query_button = driver.find_element(By.CSS_SELECTOR, '.trends-input-box-btn')
query_button.click()

• 找到输入框并输入需要查询的文章链接。
• 触发查询按钮。

5. 等待查询结果加载

为了确保查询结果加载完成，我们需要等待几秒钟：

import time
time.sleep(3)  # 等待3秒

• 等待几秒钟以确保查询结果加载完成。

6. 打印查询结果

最后，我们获取并打印查询结果：

result_element = driver.find_element(By.CSS_SELECTOR, '.csdn-body-right .desc.text')
if result_element:
    print(result_element.text)
else:
    print('查询结果未找到')

• 获取并打印查询结果。

7. 关闭浏览器

完成所有操作后，关闭浏览器：

driver.quit()

• 完成所有操作后，关闭浏览器。

完整代码

将上述步骤整合在一起，我们得到以下完整代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

# 设置Chrome选项
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

# 创建一个新的Chrome浏览器实例
driver = webdriver.Chrome(options=chrome_options)

try:
    # 打开目标URL
    driver.get("https://www.csdn.net/qc")

    # 输入链接
    input_element = driver.find_element(By.CSS_SELECTOR, 'input[placeholder="输入 CSDN 站内任意博文链接查询分析"]')
    input_element.send_keys(input('请输入需要查询的文章：'))

    # 创建并触发输入事件
    input_element.send_keys(Keys.ENTER)

    # 点击查询按钮
    query_button = driver.find_element(By.CSS_SELECTOR, '.trends-input-box-btn')
    query_button.click()

    # 等待查询结果加载
    time.sleep(3)  # 等待3秒以确保查询结果加载完成

    # 打印查询结果
    result_element = driver.find_element(By.CSS_SELECTOR, '.csdn-body-right .desc.text')
    if result_element:
        print(result_element.text)
    else:
        print('查询结果未找到')

finally:
    # 关闭浏览器
    driver.quit()

运行结果

运行上述代码后，你将看到查询结果在控制台中打印出来。如果查询成功，将显示文章的质量分数；如果未找到结果，将显示“查询结果未找到”。

相关类型推荐

1. 自动化测试:

   • 使用Selenium进行自动化测试，可以模拟用户操作，验证网页功能是否正常。
   • 例如，自动化测试登录功能、表单提交、页面跳转等。

2. 数据爬取:

   • 使用Selenium爬取动态网页数据，适用于需要模拟用户操作才能获取数据的场景。
   • 例如，爬取电商网站的商品信息、社交媒体的动态内容等。

3. 网页截图:

   • 使用Selenium截取网页截图，适用于需要定期监控网页变化的场景。
   • 例如，定期截取网站首页截图，监控广告展示情况等。

4. 自动化操作:

   • 使用Selenium实现自动化操作，适用于需要重复执行的任务。
   • 例如，自动化发布博客文章、自动化填写表单等。

 其他文章推荐

• 使用 Python 指定内容 爬取百度引擎搜索结果-CSDN博客
• 90道 编程题挑战：从基础到高级项目-CSDN博客
• 使用 PyQt5 和 pyqtgraph 创建实时 CPU 使用率监控应用-CSDN博客
• 使用Python和Selenium爬取QQ新闻热榜-CSDN博客
• 使用 Python 并发获取系统进程信息-CSDN博客

总结

在这篇博客中，我们详细介绍了如何使用Selenium库来实现网页自动化操作，并展示了一个具体的例子。希望这篇博客对你有所帮助！

结论

通过使用Selenium库，我们可以轻松实现网页自动化操作，并在CSDN网站上查询文章的质量分数。这种方法不仅适用于CSDN，还可以扩展到其他需要自动化操作的网站，欢迎在评论区留言。继续探索和学习，祝你在深度学习的旅程中取得更多的成果！🚀

---

希望这个结论对你有所帮助！如果你有任何其他问题或需要进一步的帮助，请随时告诉我。😊