Python爬虫实战(实战篇)—19—selenium获取柯南所有剧集写入Excel—附完整版代码)_python selenium抓取网站信息保存到表格中的代码-CSDN博客

本文链接：https://blog.csdn.net/weixin_42636075/article/details/139666388

专栏导读

在这里插入图片描述

🌸 欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手

🏳️‍🌈 博客主页：请点击——> 一晌小贪欢的博客主页求关注

👍 该系列文章专栏：请点击——>Python办公自动化专栏求订阅

🕷 此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅

📕 此外还有python基础专栏：请点击——>Python基础学习专栏求订阅

文章作者技术和水平有限，如果文中出现错误，希望大家能指正🙏

❤️ 欢迎各位佬关注！ ❤️

库的介绍

Selenium 是一个用于自动化 web 浏览器操作的工具，它支持多种浏览器（如 Chrome、Firefox、Safari 等），并允许你编写脚本来模拟用户在浏览器中的行为。Python 中的 Selenium 绑定提供了 Python 程序员使用 Selenium 库的能力。

库的安装

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/

在这里插入图片描述

1、分析页面

网址：点我进入

在这里插入图片描述

我发现剧集信息在静态页面中，可以使用re正则、BS、xpath获取信息
但是今天我想换一个方法！！，我想用 selenium获取
理由：
①我发现所有的剧集信息都在 tbody下的tr中
②直接利用selenium+xpath更方便

2、配置本地绑定端口

2-1、配置本地绑定端口

下面这行代码复制粘贴进入 CMD，打开绑定端口号的浏览器

这是个人习惯，您也可以跳过此步骤

此步骤具体方法在这一篇：Python—selenium控制本地浏览器并获取网页数据

cd C:\Program Files\Google\Chrome\Application & chrome.exe --remote-debugging-port=9222 --user-data-dir="D:\selenum\AutomationProfile"

在这里插入图片描述

2-2、登录想要爬取的页面

url = 'https://baike.baidu.com/item/%E5%90%8D%E4%BE%A6%E6%8E%A2%E6%9F%AF%E5%8D%97%E5%90%84%E9%9B%86%E5%88%97%E8%A1%A8/49823770'

3、获取所有的tbody中tr+完整代码

代码

# -*- coding: UTF-8 -*-
'''
@Project ：测试 
@File    ：main.py
@IDE     ：PyCharm 
@Author  ：一晌小贪欢（278865463@qq.com）
@Date    ：2024/6/13 23:11 
'''

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options


# cd C:\Program Files\Google\Chrome\Application & chrome.exe --remote-debugging-port=9222 --user-data-dir="D:\selenum\AutomationProfile"
# url = 'https://baike.baidu.com/item/%E5%90%8D%E4%BE%A6%E6%8E%A2%E6%9F%AF%E5%8D%97%E5%90%84%E9%9B%86%E5%88%97%E8%A1%A8/49823770'

chrome_options = Options()
chrome_options.add_experimental_option('debuggerAddress', '127.0.0.1:9222')
driver = webdriver.Chrome(options=chrome_options)


tbodys = driver.find_elements(By.XPATH, '//tbody')
for tbody in tbodys:
    # 继续获取tbody下的tr
    trs = tbody.find_elements(By.XPATH, './tr')
    for tr in trs:
        print(tr.text.split('\n'))