动态网页数据抓取（ajax，selenium 基础）

最新推荐文章于 2023-11-20 15:15:51 发布
最新推荐文章于 2023-11-20 15:15:51 发布
阅读量887 收藏 5
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaogeldx/article/details/103773026
版权

文章目录

ajax

什么是 ajax

  • ajax 异步 JavaScript 和 xml，在后台与服务器之间使用 xml 格式进行少量数据交换，ajax 可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新
  • 传统的网页（不适用 ajax）如果需要更新内容，必须重新加载整个网页页面，因为传统的 ajax 在传输数据格式方面，使用的是 xml 语法，因此叫做 ajax，其实现在数据交互基本上都是 json，使用 ajax 加载的数据，即使使用了 js，将数据渲染到了浏览器中，在 右键-查看网页源代码 还是不能看到通过 ajax 加载的数据，只能看到使用这个 url 加载的 html 代码

获取 ajax 数据的方式

  1. 直接分析 ajax 调用的接口，然后通过代码请求这个接口
  2. 使用 selenium + chromedrieve 模拟浏览器行为获取数据
方式优点缺点
分析接口直接可以请求到数据，不需要做一些解析工作，代码量少，性能高分析接口比较复杂，特别是一些通过 ajax 混淆的接口，要有一定的 js 功底，容易被发现是爬虫
selenium直接模拟浏览器的行为，浏览器能请求到的，使用 selenium 也能请求到，爬虫更稳定代码量多，性能低

selenium+chromedriver 获取动态数据

有界面的

  1. 安装 selenium：selenium 有很多语言的版本，有 Java，ruby，python 等，我下载 pyhton pip install selenium
  2. 安装 chromedriver：下载完成后，放到不需要权限的纯英文目录下就可以，Chromedriver：
    https://sites.google.com/a/chromium.org/chromedriver/downloads

无界面的

  • 无界面的，比如腾讯云 Ubuntu18 服务器
  • 安装 selenium： pip install selenium
  • 安装 chrome：
sudo apt-get install libxss1 libappindicator1 libindicator7	 # 依赖包
wget -c https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
sudo dpkg -i google-chrome*.deb  
sudo apt-get install -f
google-chrome --version   # 看版本

wget -c https://npm.taobao.org/mirrors/chromedriver/80.0.3987.16/chromedriver_linux64.zip 
unzip chromedriver_linux64.zip 	#解压
sudo chmod +x /home/ubuntu/chromedriver	#授权

无界面测试 test.py

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--headless')	#浏览器无界面加载，必须有
options.add_argument('--disable-gpu')	#不开启 GPU 加速
options.add_argument('--no-sandbox')	# 以根用户打身份运行Chrome，使用-no-sandbox标记重新运行Chrome,禁止沙箱启动
driver = webdriver.Chrome(options=options, executable_path='/home/ubuntu/chromedriver')
driver.get('https://www.jianshu.com/')
print(driver.page_source)
driver.quit()
  • 其他设置
chromeOptions.add_argument('--hide-scrollbars') #隐藏滚动条, 应对一些特殊页面
chromeOptions.add_argument('blink-settings=imagesEnabled=false') #不加载图片, 提升速度
chromeOptions.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")  #伪装其它版本浏览器,有时可以解决代码在不同环境上的兼容问题,或者爬虫cookie有效性保持一致需要设置此参数
————————————————
版权声明：本文为CSDN博主「wto882dim」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/wto882dim/article/details/101214371
  • 如果报错 selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally(unknown error: DevToolsActivePort file doesn't exist)
    设置chromeOptions.add_argument('--disable-dev-shm-usage')

selenium 常见操作

关闭页面

  • driver.close()：关闭当前页面
  • driver.quit()：退出整个浏览器

定位元素

  • find_element_by_id：根据 id 来查找某个元素，等价于
submitTag = driver.find_element_by_id('su')
submitTag1 = driver.find_element(By.ID,'su')
  • find_element_by_class_name：根据类名查找元素，等价于：
submitTag = driver.find_element_by_class_name('su')
submitTag1 = driver.find_element(By.CLASS_NAME,'su')
  • find_element_by_name：根据 name 属性的值查找元素，等价于：
submitTag = driver.find_element_by_name('email')
submitTag1 = driver.find_element(By.NAME,'email')
  • find_element_by_tag_name：根据标签名查找元素，等价于：
submitTag = driver.find_element_by_tag_name('div')
submitTag1 = driver.find_element(By.TAG_NAME,'div')
  • find_element_by_xpath：根据 xpath 语法来获取元素，等价于：
submitTag = driver.find_element_by_xpath('//div')
submitTag1 = driver.find_element(By.XPATH,'//div')
  • find_element_by_css_selector：根据 css 选择器选择元素，等价于：
submitTag = driver.find_element_by_css_selector('//div')
submitTag1 = driver.find_element(By.CSS_SELECTOR,'//div')

常见的表单元素

  • input(type=password/email/text/submit/number)
  • button input(type=submit)
  • checkbox input(type=checkbox)
  • select 下拉列表

页面前进后退

控制浏览器后退、前进
WebDriver 也提供了对应的 back()和 forward()方法来模拟后退和前进按钮.
from selenium import webdriver
driver = webdriver.Firefox()
#访问百度首页
first_url= ‘http://www.baidu.com’
print “now access %s” %(first_url)
driver.get(first_url)
#访问新闻页面
second_url=‘http://news.baidu.com’
print “now access %s” %(second_url)
driver.get(second_url)
#返回（后退）到百度首页
print "back to %s "%(first_url)
driver.back()
#前进到新闻页
print “forward to %s”%(second_url)
driver.forward()
driver.quit()

浏览器界面大小自定义

  • 浏览器运行后，如果页面没有最大化，可以调用driver.maximize_window()将浏览器最大化，相当于点击了页面右上角的最大化按钮

  • 也可以自定义浏览器的尺寸

driver.maximize_window() #浏览器窗口最大化
driver.set_window_size(500, 360) #设置窗口大小为500*360

屏幕截图

  • 打开页面以后，可以对页面进行截屏（无界面也可以截屏），在遇到异常的时候，根据截图可以快速定位问题的原因所在
  • 浏览器截屏操作，参数是截屏的图片保存路径：
#1. get_screenshot_as 系列
driver.get_screenshot_as_file('/home/ubuntu/test_spider/jietu.png')
#2. save_screenshot
driver.save_screenshot('/home/ubuntu/test_spider/screenshot.png')
  • 无界面截图
    在这里插入图片描述

页面刷新

  • 有时页面过期后，网页上显示的信息可能不是最新的，需要对页面进行刷新，使用refresh()方法刷新页面，相当于点击浏览器的刷新按钮
    driver.refresh() #重新加载页面

滚动页面

driver.execute_script('window.scrollBy(0,10000)')  #滚动到页面的末尾
driver.execute_script('var q=document.documentElement.scrollTop=10000')	#滚动到页面的末尾 
driver.execute_script('var q=document.documentElement.scrollTop=0')	#滚动到页面的顶部
driver.execute_script('var q=document.body.scrollTop=10000')	#滚动到 body 标签末尾   
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)') #滚动到 body 标签末尾  
driver.execute_script("window.scrollTo(0,0)")	#滚动到页面顶部
ul_tag = driver.find_elements(By.CLASS_NAME, 'note-list')[0]
# 移动到元素对象的“底端”与当前窗口的“底部”对齐
driver.execute_script('arguments[0].scrollIntoView(false);', ul_tag)
# 移动到元素对象的“顶端”与当前窗口的“顶部”对齐
driver.execute_script("arguments[0].scrollIntoView();", ul_tag)

退出浏览器

在测试脚本运行完后，一般会在最后关闭浏览器，有两种方法关闭浏览器，close()方法用于关闭当前页面，quit()方法关闭所有和当前测试有关的浏览器窗口
driver.close() //关闭当前页面
driver.quit() //关闭所有由当前测试脚本打开的页面
driver.switch_to_alert().accept()#处理警告弹窗
time.sleep(2)
print’处理好警告弹窗’
js=“var q=document.documentElement.scrollTop=10000”
driver.execute_script(js)#处理右侧的滚动条
time.sleep(3)
print"右侧的滚动条拉倒最低处"

练习：

import time

from selenium import webdriver
from selenium.webdriver.common.by import By

# chromedriver 的储存路径
# driver_path = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe'
driver_path = 'D:\downloads\chromedriver_win32\chromedriver.exe'
# 初始化 driver，并且指定 chromedriver 的路径
driver = webdriver.Chrome(executable_path=driver_path)
# 请求网页
# driver.get('https://www.baidu.com/')
# 通过 page_source 获取网页源代码
# print(driver.page_source)
# 通过标签 id 的属性值查找
# inputTag = driver.find_element_by_id('kw')
# inputTag = driver.find_element(By.ID,'kw')
# 通过标签的 name 属性值查找
# inputTag = driver.find_element_by_name('wd')
# inputTag = driver.find_element(By.NAME,'wd')
# 通过标签的类名查找
# inputTag = driver.find_element_by_class_name('s_ipt')
# inputTag = driver.find_element(By.CLASS_NAME,'s_ipt')
# 通过标签名查找所有的 input 标签的第八个 input
# inputTag = driver.find_elements_by_tag_name('input')[7]
# inputTag = driver.find_elements(By.TAG_NAME,'input')[7]
# 通过 xpath 查找
# inputTag = driver.find_element_by_xpath('//input[@id="kw"]')
# inputTag = driver.find_element(By.XPATH,'//input[@id="kw"]')
# 通过 css 选择器查找(class="soutu-btn" 紧随的 input)
# inputTag = driver.find_element_by_css_selector('.soutu-btn + input')
# inputTag = driver.find_element(By.CSS_SELECTOR,'.soutu-btn + input')
# 通过 css 选择器查找 class="bg s_ipt_wr iptfocus quickdelete-wrap" 的 span 的
# id="kw" 的子标签（即 id="kw" 的 input）
# inputTag = driver.find_element_by_css_selector(
# 	'span[class="bg s_ipt_wr iptfocus quickdelete-wrap"] #kw'
# )
# inputTag = driver.find_element(By.CSS_SELECTOR,
# 	'span[class="bg s_ipt_wr iptfocus quickdelete-wrap"] #kw'
# )
# 通过 css 选择器查找 class="bg s_ipt_wr iptfocus quickdelete-wrap" 的 span 的
# 所有 input 子标签(是个列表)的第一个 input 标签
# inputTag = driver.find_elements_by_css_selector(
# 	'span[class="bg s_ipt_wr iptfocus quickdelete-wrap"] input'
# )[0]
# inputTag = driver.find_elements(By.CSS_SELECTOR,
# 	'span[class="bg s_ipt_wr iptfocus quickdelete-wrap"] input'
# )[0]
# 如果只是想要解析网页的数据，推荐将网页源代码用 lxml 解析，因为 lxml 是用 c 语言写的，解析效率会更高
# 如果想要对元素进行一些操作，比如给一个文本框输入值，或者是点击某个按钮，就必须使用 selenium 给我们提供的查找元素的方法
# inputTag.send_keys('xingye')

# 输入框
# inputTag = driver.find_element_by_id('kw')
# 填写内容到 input 标签
# inputTag.send_keys('xingye')
# time.sleep(3)
# 清除 input 标签内的内容
# inputTag.clear()

# checkbox
# driver.get('http://login.kaixin001.com/')
# print(driver.page_source)
# rememberBtn = driver.find_element(By.NAME,'remember')
# time.sleep(3)
# # 自动勾选开心网的 记住我
# rememberBtn.click()
# time.sleep(2)
# rememberBtn.click()

# select 选择框
# 将获取到的元素当成参数传到这个类中，创建这个对象，
# 以后就可以使用这个对象进行选择了
from selenium.webdriver.support.ui import Select

# driver.get('http://www.mailianjie.com/?renqun_youhua=191401')
# print(driver.page_source)
# selectBtn = Select(driver.find_element(By.NAME,'n'))
# # 索引，第一个为 0
# selectBtn.select_by_index(2)
# value 属性的内容
# selectBtn.select_by_visible_text()
# selectBtn.select_by_value('50')
# time.sleep(2)

# 按钮点击
driver.get('https://www.baidu.com')
inputTag = driver.find_element(By.ID,'kw')
inputTag.send_keys('xingye')
submitTag = driver.find_element(By.ID,'su')
submitTag.click()

注：

  • 在获取时可能会发现按网页源代码获取不到，这时要以 page_source 的返回为标准，比如：
    page_source：
    在这里插入图片描述
    网页源代码：
    在这里插入图片描述
    检查：
    在这里插入图片描述
  • 如果按照网页源代码方式写，是得不到我们想要的结果，所以要以 page_source 返回的结果
xiaogeldx
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
用selenium+ajax抓取数据
wg5foc08的博客
07-02 3196
上一篇文章只用了selenium模拟浏览器加载数据，实际上爬取网页的数据是ajax请求得到的，这次用ajax请求加载原始网页的数据，再通过浏览器模拟加载二级网页的视频，真正的视频下载可以通过构造requests请求爬取视频源代码。 #通过ajax发送请求加载网页 import requests import json from bs4 import BeautifulSoup from selen...
Selenium爬虫实践：ajax请求抓包、浏览器退出
m0_67419887的博客
04-07 2014
Selenium爬虫实践：ajax请求抓包、浏览器退出 2022-04-07 16:00·软件测试木木 前言 　　最近在搞公司内部系统，累的一批，需要从另一个内部系统导出数据存到数据库做分析，有大量的数据采集工作，又没办法去直接拿到那个系统的接口，太难了，只能爬虫，但是cookie还经常失效，为了不每次登录失效就来找我重新注入Cookie，我写了一个手机版的网页，用来控制后台的selenium自动登录，截取token和cookie。 　　ajax请求抓包方案 　　搜索资料的过程真的痛苦，不
05-爬虫进阶_selenium（01 - 04：爬AJAX数据的方法、selenium+chromedriver安装、关闭页面和浏览器、定位元素）
静水流深
01-17 322
待分享
java selenium智能等待页面加载完成示例代码
01-20
java selenium  智能等待页面加载完成 我们经常会碰到用selenium操作页面上某个元素的时候， 需要等待页面加载完成后， 才能操作。  否则页面上的元素不存在，会抛出异常。  或者碰到AJAX异步加载，我们需要等待元素加载完成后， 才能操作 selenium 中提供了非常简单，智能的方法，来判断元素是否存在.  阅读目录 实例要求 隐式等待 显式等待 实例要求 实例：set_timeout.html　下面的html 代码,  点击click 按钮5秒后， 页面上会出现一个红色的div快， 我们需要写一段自动化脚本智能的去判断这个div是否存在， 然后把这个div
【爬虫】5.5 Selenium 爬取Ajax网页数据
Jack
08-29 2196
AJAX 简介 任务目标 现在的网页中大量使用了Ajax技术，通过JavaScript在客户端向服务器发出请求，服务器返回数据给客户端，客户端再把数据展现出来，这样做可以减少网页的闪动， 让用户有更好的体验。 我们先设计一个这样的网页，然后使用 Selenium 编写爬虫程序爬取网页的数据。 创建Ajax网站 创建服务器程序 编写爬虫程序
Scrapy第十一(③)篇：selenium4模拟器-抓取Ajax请求（单线程）
Good Luck
08-18 1437
在Vue、React横行的时代，前后端分离使用Ajax做交互的比比皆是。Ajax请求往往带有各种加密验证，解密起来费力气。最好是selenium直接拦截ajax的结果。
selenium抓取动态网页数据
热门推荐
weixin_34059951的博客
04-04 1万+
1.selenium抓取动态网页数据基础介绍 1.1 什么是AJAX 　　AJAX（Asynchronouse JavaScript And XML：异步JavaScript和XML）通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行局部更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。 ...
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
09-20
主要介绍了Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
网页数据抓取工具，ajax异步数据获取，模拟访问网页提取内容
12-10
描述中提到了"ajax异步数据获取"，这涉及到现代网页的动态加载技术。AJAX（Asynchronous JavaScript and XML）允许网页在不重新加载整个页面的情况下与服务器交换数据并更新部分网页内容。在数据抓取时，如果目标...
抓取动态网页数据
06-06
动态网页数据抓取是现代互联网应用中不可或缺的一部分，它涉及到网络爬虫技术、网页解析以及数据存储等多个领域。本文将详细讲解如何有效地抓取动态网页数据，并将其导入数据库。 首先，我们要理解动态网页的特性。...
Python3实现抓取javascript动态生成的html网页功能示例
10-19
Selenium的强大之处在于它可以模拟用户的各种交互行为，如点击按钮、填写表单、滚动页面等，这使得它成为动态网页抓取的理想工具。同时，由于Selenium支持多种浏览器，因此可以在不同的环境中测试网页的兼容性。 在...
Selenium+Java实现UI自动化自动拦截ajax请求的响应体
baoma2008的博客
08-12 2706
国内关于这方面的资料较少，大部分都是通过代理实现，本文是利用原生selenium4.0版本的新特性DevTools解决这一问题。 首先确保你的selenium升级到4.0以上 <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>4.0.0-alpha
当滚动条滚动到页面底部自动加载增加内容 ajax,Selenium-完整的ajax加载自动滚动到页面底部...
weixin_29368453的博客
08-06 420
我有一个网页，当您滚动到底部时，它会通过ajax加载更多结果。您可以在此过程完成之前对其进行多次迭代。有点像facebook。我试图编写一个Selenium脚本，使其一直走到页面结尾，直到完成为止。像这样的一半完成了它。我只是不知道如何确定页面是否在底部-因此我可以将其放入某种循环中吗？我的尝试By selBy = By.tagName("body");driver.findElement(sel...
selenium+chromdriver获取AJAX数据
weixin_42635252的博客
06-03 9651
注：本文参考了网易云知了课堂课件笔记。 AJAX定义 AJAX（Asynchronouse JavaScript And XML）异步JavaScript和XML。在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的...
爬虫Selenium与Ajax
liaojsgtcg的博客
10-31 5068
目录AjaxAjax概念Ajax三个步骤Selenium使用方法声明浏览器对象定位元素访问页面获取页面代码页面交互执行JavaScriptselenium获取国家药监局首页的企业信息 现在大部分的网站，都使用一种叫做Ajax的技术来加载一些数据，简单的爬虫爬取的界面是没有Ajax加载的界面。简单爬虫无法直接获取Ajax加载的数据，还有去获取Ajax的URL再去获取里面的数据 获取AjaxURL时我们发现AjaxURL有以下缺点： 既冗长又复杂 经过加密 具有时效性 解决方法： 我们使用到Selenium来
如何使用Selenium测试使用AJAX技术的Web应用程序(三)
12-14 1105
页面上的更改 以下是我们如何实现等待：基于WebDriverWait和FluentWait的示例，Selenium 中的Thread.sleep()、WebDriver 隐式等待、显式等待。下面我们将分别研究这些方法中的每一种。 实现等待的另一种方法是使用第三方库，这些库允许您控制重复的策略并捕获异常。˚F或例如，故障安全.我们不会详细介绍这种方法，而是将自己限制在 Java 和 Selenium WebDriver 提供的选项上。 为什么使用 Thread.sleep() 方法？ 原始的等待方式.
动态网页数据抓取
bangyinyou3056的博客
12-17 424
动态网页数据抓取 什么是AJAX： AJAX（Asynchronouse JavaScript And XML）异步JavaScript和XML。过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的是...
ajax 填充div 滚动,当使用ajax加载pythonselenium中的数据时如何滚动div
weixin_31800911的博客
08-06 121
做一个循环，每次迭代滚动到列表中最后一个“review”的视图(对我有用)：from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support ...
Selenium 处理滚动条操作
最新发布
软件测试技术交流分享
11-20 1701
在网页当中，页面存在滚动条，而要操作的元素在当前屏幕可见区域之外，则需要通过操作滚动条滚动到该元素，下面介绍两种方法：
selenium抓取动态弹幕
09-15
selenium是一种用于自动化浏览器操作的工具，可以用来抓取动态页面。通过selenium，您可以模拟用户在浏览器中的操作，如点击、输入文本等。这使得您可以加载并获取动态生成的内容，例如通过JavaScript加载的数据或通过Ajax请求获取的数据。使用selenium抓取动态页面的一般步骤如下： 1. 安装selenium库和浏览器驱动：首先，您需要安装selenium库，并下载适用于您使用的浏览器的驱动程序。不同的浏览器需要对应的驱动程序才能与selenium进行通信。 2. 配置驱动程序：将驱动程序的路径添加到系统的环境变量中，以便selenium能够找到它。 3. 创建一个浏览器实例：使用selenium库提供的API，您可以创建一个浏览器实例，例如Chrome或Firefox。 4. 打开目标网页：使用浏览器实例的方法，您可以导航到您想要抓取数据的目标页面。 5. 获取动态生成的内容：使用selenium提供的方法，您可以等待页面加载完全，并获取动态生成的内容。您可以通过查找元素、执行JavaScript代码等方式来获取内容。 6. 解析和处理数据：一旦您获得了页面的内容，您可以使用其他库（如BeautifulSoup或正则表达式）来解析和处理数据，以提取出您感兴趣的信息。 7. 关闭浏览器：完成数据抓取后，记得关闭浏览器实例，以释放资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值