使用selenium与网页交互、嵌套网页爬取

使用selenium与网页交互、嵌套网页爬取

前进、后退、切换选项卡

from selenium.webdriver import Chrome
import time

创建浏览器对象

driver = Chrome()

依次进入若干个网站

driver.get('https://www.baidu.com')
time.sleep(2)
driver.get('https://www.jd.com')
time.sleep(2)
driver.get('https://www.runoob.com')
前进后退
driver.back()
time.sleep(2)
driver.forward()
切换选项卡
driver.get('https://movie.douban.com/')
music = driver.find_element_by_css_selector('.global-nav-items > ul > li:nth-child(4)>a')
url = music.get_attribute('href')
print(url)
music.click()

time.sleep(2)
# 切换选项卡
driver.switch_to.window(driver.window_handles[</
  • 2
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 Selenium 可以模拟浏览器操作,包括打开网页、点击按钮、输入文本、获取网页源代码等。因此,使用 Selenium 可以方便地爬取网页中的表格数据。 以下是使用 Selenium 爬取网页表格的一般步骤: 1. 导入必要的库 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC ``` 2. 创建浏览器对象 ```python driver = webdriver.Chrome() ``` 这里选择使用 Chrome 浏览器,需要先下载 ChromeDriver。 3. 打开网页 ```python url = "http://www.example.com" driver.get(url) ``` 4. 找到表格元素 可以使用 Selenium 提供的 find_element_by_* 方法找到表格元素,例如: ```python table = driver.find_element_by_id("table_id") ``` 5. 获取表格数据 获取表格数据有多种方式,以下是其中两种: (1)遍历表格行和列,逐一获取单元格数据: ```python rows = table.find_elements_by_tag_name("tr") for row in rows: cols = row.find_elements_by_tag_name("td") for col in cols: print(col.text) ``` (2)将表格数据读取到 Pandas DataFrame 中: ```python import pandas as pd html_table = driver.find_element_by_xpath("//table") df_list = pd.read_html(html_table.get_attribute('outerHTML')) df = df_list[0] ``` 6. 关闭浏览器 ```python driver.quit() ``` 完整的代码示例: ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import pandas as pd # 创建浏览器对象 driver = webdriver.Chrome() # 打开网页 url = "http://www.example.com" driver.get(url) # 找到表格元素 table = driver.find_element_by_id("table_id") # 将表格数据读取到 Pandas DataFrame 中 html_table = driver.find_element_by_xpath("//table") df_list = pd.read_html(html_table.get_attribute('outerHTML')) df = df_list[0] # 关闭浏览器 driver.quit() ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值