Python下利用Selenium获取动态页面数据

 🔥 交流讨论:欢迎加入我们一起学习!

🔥 资源分享耗时200+小时精选的「软件测试」资料包

🔥 教程推荐:火遍全网的《软件测试》教程  

📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!

利用python爬取网站数据非常便捷,效率非常高,但是常用的一般都是使用BeautifSoup、requests搭配组合抓取静态页面(即网页上显示的数据都可以在html源码中找到,而不是网站通过js或者ajax异步加载的),这种类型的网站数据爬取起来较简单。但是有些网站上的数据是通过执行js代码来更新的,这时传统的方法就不是那么适用了。这种情况下有如下几种方法:

  清空网页上的network信息,更新页面,观察网页发送的请求,有些网站可以通过这种方法构造参数,从而简化爬虫。但是适用范围不够广泛。

  使用selenium模拟浏览器行为更新网页获取更新后的数据。本文接下来着重讲述这种方法。

一、准备工作

  模拟浏览器需要用到两个工具:

  1.selenium,可直接通过pip install selenium进行安装。

  2.PhantomJS,这是一个无界面的,可脚本编程的WebKit浏览器引擎,百度进行搜索,在其官网下进行下载,下载后无需安装,放到指定路径下,在使用时只需指定文件所在路径即可。

二、使用selenium模拟浏览器

  本文爬取网站示例为:http://datacenter.mep.gov.cn:8099/ths-report/report!list.action?xmlname=1465594312346(最新测试发现网站已无法打开,2021年5月25日)

  学习示例时请不要爬取太多页面,走一遍流程了解怎么抓就行。

  打开网站后,可以看到需要爬取的数据为一个规则的表格,但是有很多页。

在这个网站中,点击下一页页面的url不发生变化,是通过执行一段js代码更新页面的。因此本文思想就是利用selenium模拟浏览器进行点击,点击“下一页”后页面数据进行更新,获取更新后的页面数据即可。下面是完整代码:

 
  1. # -*- coding:utf-8 -*-

  2.   import requests

  3.   from bs4 import BeautifulSoup

  4.   import json

  5.   import time

  6.   from selenium import webdriver

  7.   import sys

  8.   reload(sys)

  9.   sys.setdefaultencoding( "utf-8" )

  10.   curpath=sys.path[0]

  11.   print curpath

  12.   def getData(url):

  13.    # 使用下载好的phantomjs,网上也有人用firefox,chrome,但是我没有成功,用这个也挺方便

  14.   driver =webdriver.PhantomJS(executable_path="C:/phantomjs.exe")

  15.   driver.set_page_load_timeout(30)

  16.   time.sleep(3)

  17.   html=driver.get(url[0]) # 使用get方法请求url,因为是模拟浏览器,所以不需要headers信息

  18.   for page in range(3):

  19.   html=driver.page_source # 获取网页的html数据

  20.   soup=BeautifulSoup(html,'lxml') # 对html进行解析,如果提示lxml未安装,直接pip install lxml即可

  21.   table=soup.find('table',class_="report-table")

  22.   name=[]

  23.   for th in table.find_all('tr')[0].find_all('th'):

  24.   name.append(th.get_text()) # 获取表格的字段名称作为字典的键

  25.   flag=0 # 标记,当爬取字段数据是为0,否则为1

  26.   for tr in table.find_all('tr'):

  27.   # 第一行为表格字段数据,因此跳过第一行

  28.   if flag==1:

  29.   dic={}

  30.   i=0

  31.   for td in tr.find_all('td'):

  32.   dic[name[i]]=td.get_text()

  33.   i+=1

  34.   jsonDump(dic,url[1])#保存数据

  35.   flag=1

  36.    # 利用find_element_by_link_text方法得到下一页所在的位置并点击,点击后页面会自动更新,只需要重新获取driver.page_source即可

  37.   driver.find_element_by_link_text(u"下一页").click()

  38.   

  39.   def jsonDump(_json,name):

  40.   """store json data"""

  41.   with open(curpath+'/'+name+'.json','a') as outfile:

  42.   json.dump(_json,outfile,ensure_ascii=False)

  43.   with open(curpath+'/'+name+'.json','a') as outfile:

  44.   outfile.write(',\n')

  45.   if __name__ == '__main__':

  46.   url=['http://datacenter.mep.gov.cn:8099/ths-report/report!list.action?xmlname=1465594312346','yzc'] # yzc为文件名,此处输入中文会报错,前面加u也不行,只好保存后手动改文件名……

  47.   getData(url) # 调用函数

  本文中获取下一页的位置是通过driver.find_element_by_link_text方法来实现的,这是因为在此网页中,这个标签没有唯一可标识的id,也没有class,如果通过xpath定位的话,第一页和其他页的xpath路径又不完全相同,需要加个if进行判断。因此直接通过link的text参数进行定位。click()函数模拟在浏览器中的点击操作。

  selenium的功能非常强大,用在爬虫上能够解决很多一般爬虫解决不了的问题,它可以模拟点击、鼠标移动,可以提交表单(应用如:登陆邮箱账号、登陆wifi等,网上有很多实例,本人暂时还没有尝试过),当你遇到一些非常规的网站数据爬取起来非常棘手时,不妨尝试一下selenium+phantomjs。

最后我邀请你进入我们的【软件测试学习交流群:785128166】, 大家可以一起探讨交流软件测试,共同学习软件测试技术、面试等软件测试方方面面,还会有免费直播课,收获更多测试技巧,我们一起进阶Python自动化测试/测试开发,走向高薪之路

作为一个软件测试的过来人,我想尽自己最大的努力,帮助每一个伙伴都能顺利找到工作。所以我整理了下面这份资源,现在免费分享给大家,有需要的小伙伴可以关注【公众号:程序员二黑】自提!

  • 28
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python Selenium 是一个功能强大的自动化测试工具,它可以模拟用户在浏览器中的行为,并且可以用来获取接口数据。要使用Python Selenium获取接口数据,可以按照以下步骤操作: 1. 安装Python Selenium库: 在命令行中运行`pip install selenium`,可以安装最新版本的Python Selenium库。 2. 下载并配置浏览器驱动: Selenium需要一个浏览器驱动来控制浏览器。根据自己使用的浏览器,下载对应的驱动并将其添加到系统的环境变量中。 3. 导入相关库和设置浏览器: 在Python脚本中导入Selenium库,并根据需要选择要使用的浏览器驱动,例如ChromeDriver。 示例代码如下: ```python from selenium import webdriver # 配置浏览器驱动 driver = webdriver.Chrome() ``` 4. 打开需要获取数据的接口链接: 使用Selenium打开需要获取数据的接口链接,可以使用`driver.get(url)`方法。 示例代码如下: ```python url = "https://api.example.com/data" driver.get(url) ``` 5. 获取接口数据: 一旦接口链接加载完成,可以使用`driver.page_source`属性获取页面的源代码。接口数据通常以JSON格式返回,你可以使用Python的JSON库来解析数据。 示例代码如下: ```python import json json_data = json.loads(driver.page_source) print(json_data) ``` 6. 关闭浏览器: 当你完成数据获取后,记得关闭浏览器驱动,以释放资源。 示例代码如下: ```python driver.quit() ``` 通过以上步骤,你可以使用Python Selenium获取接口数据。请记住,Selenium是一个强大的自动化测试工具获取接口数据只是其众多功能之一。如果只是简单的获取接口数据,还有其他更轻量的库可以选择,比如Requests库。 ### 回答2: PythonSelenium库可以用于模拟浏览器操作,从而获取接口数据。下面是使用PythonSelenium获取接口数据的步骤: 1. 首先,需要安装PythonSelenium库。可以使用pip命令来安装,命令为:`pip install selenium`。 2. 在Python脚本中导入Selenium库和其他必要的库,例如:`from selenium import webdriver`。 3. 创建一个浏览器实例,例如使用Chrome浏览器:`driver = webdriver.Chrome()`。 4. 使用浏览器打开需要获取数据的接口URL,可以使用`driver.get(url)`方法来实现。 5. 等待接口数据加载完成。如果接口是异步加载的,可能需要等待一段时间才能获取数据。可以使用`time.sleep()`方法进行等待。 6. 获取接口数据。可以使用Selenium提供的方法来查找页面元素并提取数据,例如使用`driver.find_element_by_xpath()`或`driver.find_element_by_css_selector()`方法来找到需要的元素。 7. 提取数据。一旦找到了需要的元素,可以使用元素的属性或方法来提取数据,例如使用`element.text`来获取元素的文本内容。 8. 关闭浏览器。使用`driver.quit()`方法来关闭浏览器。 以上就是使用PythonSelenium获取接口数据的基本步骤。根据接口的具体情况,可能需要进行一些额外的处理和逻辑来准确地获取到需要的数据。 ### 回答3: Python中可以使用Selenium获取接口数据Selenium是一个用于自动化浏览器操作的库,在这里我们可以利用它模拟浏览器访问接口并获取数据。 首先,我们需要安装Selenium库。可以使用pip命令在命令行终端中执行以下命令进行安装: ``` pip install selenium ``` 安装完成后,需要安装一个浏览器驱动,根据所使用的浏览器型号和版本下载相应的驱动。例如,如果使用Chrome浏览器,可以下载ChromeDriver驱动。将驱动文件添加到系统环境变量中,或者将其放置在可执行文件所在的目录下。 接下来,我们可以编写Python代码来使用Selenium进行接口数据获取。首先,我们需要导入Selenium库和一些相关的模块: ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By ``` 然后,我们可以创建一个浏览器实例,并打开目标接口页面: ```python chrome_options = Options() chrome_options.add_argument('--headless') # 通过无头模式运行浏览器,不打开显示界面 driver = webdriver.Chrome(options=chrome_options) driver.get('http://example.com/api') # 替换为目标接口的URL ``` 接下来,我们可以使用Selenium提供的方法来定位和解析接口数据。例如,可以通过标签名、类名或XPath表达式来定位页面元素并获取其文本内容: ```python element = driver.find_element(By.XPATH, '//div[@class="data"]') # 替换为目标接口数据所在元素的XPath表达式 data = element.text print(data) ``` 最后,别忘了在程序结束时关闭浏览器实例: ```python driver.quit() ``` 这样,我们就可以使用PythonSelenium获取接口数据了。但需要注意的是,使用Selenium获取接口数据可能会比直接使用requests等库效率低下,因为Selenium需要启动浏览器并加载页面。所以,如果接口数据比较简单且不需要解析动态生成的内容,最好还是使用requests等库进行接口调用和数据获取

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值