动态网页爬取

最新推荐文章于 2021-09-13 00:04:26 发布
最新推荐文章于 2021-09-13 00:04:26 发布
阅读量320 收藏 1
点赞数
分类专栏： Spider
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/V_lq6h/article/details/102965364
版权

动态网页爬取

动态网页是指在网页中依赖JavaScript脚本动态加载数据的网页

一.selenium和PhantomJS

1.selenium

selenium是一个Web的自动化测试工具,selenium可以直接运行在浏览器上.selenium可以根据用户的指令,让浏览器自动加载页面,获取需要的数据集,甚至页面截屏

2.PhantomJS

PhantomJS是一个基于Webkit的"无界面"浏览器,它会把网站加载到内存并执行页面上的JavaScript

二.selenium和PhantomJS的基本应用

1.入门操作

# 导入 webdriver
from selenium import webdriver

driver=webdriver.PhantomJS()
driver.get("http://www.baidu.com")

from IPython.display import Image
Image(filename="./data/7_1.png",width=500)

output_10_0.png

# 获取页面id=wrapper的文本内容

data=driver.find_element_by_id("wrapper").text
print(data)

新闻
hao123
地图
视频
贴吧
学术
登录
设置
更多产品
百度
把百度设为主页关于百度About  Baidu百度推广
©2019 Baidu 使用百度前必读 意见反馈 京ICP证030173号  京公网安备11000002000001号

# 页面标题
driver.title

'百度一下，你就知道'

#生成当前页面快照并保存
driver.save_screenshot("baidu.png")

True

# 页面源代码
code=driver.page_source

# 输入框输入长城页面快照
driver.find_element_by_id("kw").send_keys(u"黄河")
driver.save_screenshot("baidu.png")

True

Image("./data/huagnhe.png",width=500)

output_16_0.png

# id="su"定位百度搜索按钮,click()方法模拟点击
driver.find_element_by_id("su").click()
driver.save_screenshot("huagnhe.png")

True

Image("./data/huanghessuo.png",width=500)

output_18_0.png

# 调用键盘按键操作,导入Keys
from selenium.webdriver.common.keys import Keys

# Ctrl+A 全选输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,"a")

# Ctrl+X 剪切输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,"x")

# 搜索关键字 cnblogs
driver.find_element_by_id("kw").send_keys("cnblogs")

# 回车
driver.find_element_by_id("kw").send_keys(Keys.RETURN)

import time
time.sleep(2)

driver.save_screenshot("cnblogs.png")

True

driver.find_element_by_id("kw").clear()

driver.get_cookies()

[{'domain': '.baidu.com',
  'httponly': False,
  'name': 'H_PS_PSSID',
  'path': '/',
  'secure': False,
  'value': '1424_28938_21117_28518_28775_28723_28963_28839_28585_26350_20718'},
 {'domain': 'www.baidu.com',
  'httponly': False,
  'name': 'BDSVRTM',
  'path': '/',
  'secure': False,
  'value': '121'},
 {'domain': '.baidu.com',
  'httponly': False,
  'name': 'PSINO',
  'path': '/',
  'secure': False,
  'value': '3'},
 {'domain': 'www.baidu.com',
  'httponly': False,
  'name': 'BD_CK_SAM',
  'path': '/',
  'secure': False,
  'value': '1'},
 {'domain': '.baidu.com',
  'httponly': False,
  'name': 'delPer',
  'path': '/',
  'secure': False,
  'value': '0'},
 {'domain': '.baidu.com',
  'expires': '周五, 17 5月 2019 02:19:36 GMT',
  'expiry': 1558059576,
  'httponly': False,
  'name': 'BDORZ',
  'path': '/',
  'secure': False,
  'value': 'B490B5EBF6F3CD402E515D22BCDA1598'},
 {'domain': 'www.baidu.com',
  'expires': '周四, 16 5月 2019 03:02:48 GMT',
  'expiry': 1557975768,
  'httponly': False,
  'name': 'H_PS_645EC',
  'path': '/',
  'secure': False,
  'value': '6725Fa4Yc55tGt8zh8jHbs2ZY45WPynfwfuBIO5RZf0nVb%2BOA%2BBgHk7OWH4'},
 {'domain': 'www.baidu.com',
  'expires': '周日, 26 5月 2019 02:19:21 GMT',
  'expiry': 1558837161,
  'httponly': False,
  'name': 'BD_UPN',
  'path': '/',
  'secure': False,
  'value': '14314454'},
 {'domain': '.baidu.com',
  'expires': '周一, 08 5月 2051 02:19:21 GMT',
  'expiry': 2567125161,
  'httponly': False,
  'name': 'BIDUPSID',
  'path': '/',
  'secure': False,
  'value': '5FE631E068565B8A82FAC8531C66714C'},
 {'domain': '.baidu.com',
  'expires': '周二, 03 6月 2087 05:33:27 GMT',
  'expiry': 3705456807,
  'httponly': False,
  'name': 'PSTM',
  'path': '/',
  'secure': False,
  'value': '1557973160'},
 {'domain': '.baidu.com',
  'expires': '周二, 03 6月 2087 05:33:27 GMT',
  'expiry': 3705456807,
  'httponly': False,
  'name': 'BAIDUID',
  'path': '/',
  'secure': False,
  'value': '733D46B74DA248350E4BA03C62585819:FG=1'}]

driver.current_url

'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=cnblogs&oq=%25E9%25BB%2584%25E6%25B2%25B3&rsv_pq=f355a99900009917&rsv_t=315dmRio7%2FtH7UbVSM4jMdMbwE8%2F5aBA177BAl5fJ1DAtlLBJ3Mkhn77lzM&rqlang=cn&rsv_enter=0&inputT=612&rsv_sug1=2&rsv_sug7=001&rsv_sug3=10&rsv_sug4=612&rsv_sug=2'

driver.close()

driver.quit()

2.定位UL元素

selenium的WebDriver中提供了各种方法来定位页面上的元素：

  • find_element_by_id
  • find_element_by_name
  • find_element_by_xpath
  • find_element_by_link_text
  • find_element_by_partial_link_text
  • find_element_by_tag_name
  • find_element_by_class_name
  • find_element_by_css_selector
from selenium import webdriver

driver=webdriver.PhantomJS()

driver.get("https://www.csdn.net/")

data=driver.find_element_by_id("nav").text

print(data)

推荐
关注
专题
程序人生
前端
架构
区块链
编程语言
数据库
游戏开发
移动开发
运维
人工智能
安全
云计算/大数据
研发管理
物联网
计算机基础
音视频开发
其他

print(driver.title)

CSDN-专业IT技术社区

element=driver.find_element_by_id("csdn-toolbar")
print(element)

from selenium.webdriver.common.by import By
element=driver.find_element(by=By.ID,value="csdn-toolbar")

<selenium.webdriver.remote.webelement.WebElement (session="39191c90-778a-11e9-8b8c-bf2cdaa64b0a", element=":wdc:1557977119102")>

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

driver=webdriver.PhantomJS()
driver.get("https://leetcode.com/accounts/login/")

driver.find_element_by_id("username-input").send_keys("xxxxxxxxx")
driver.find_element_by_id("password-input").send_keys("xxxxxxxxx")

driver.find_element_by_xpath("//span[@class='btn-content__lOBM']").click()

time.sleep(3)

driver.save_screenshot("Leecode.png")
driver.quit()

3.页面等待

显式等待

显式等待指定某个条件,然后设置最长等待时间.如果这个时间结束时还没有找到元素,就会抛出异常

显式等待使用WebDriverWait类,其构造函数定义如下：

WebDriverWait(driver,timeout,poll_frequency=0.5,ignored_exceptions=None)

参数说明：

  1. driver：WebDriver的驱动程序(IE,Chrome,Firefox等浏览器或远程)
  2. timeout：最长超时时间,默认以秒为单位
  3. poll_frequency：休眠时间的间隔(步长)时间,默认为0.5
  4. ignored_exceptions：超时后的异常信息,默认情况下抛出NoSuchElementException异常

WebDriverWait对象一般与until()或until_not()方法配合使用,说明如下：

  1. until(method,message="")：调用该方法提供的驱动程序作为一个参数,直到返回值不为False
  2. until_not(method,message="")：调用该方法提供的驱动程序作为一个参数,直到返回值为False
from selemium import webdriver
from selemium.webdriver.common.by import By

# WebDriverWait库,负责循环等待
from selenium.webdriver.support.ui import WebDriverWait

# expected_conditions类,负责条件触发
from selenium.webdriver.support import expected_conditions as EC

driver=webdriver.PhantomJS()
driver.get("http://www.baidu.com")

try:
    # 查找页面元素,超过10秒则报出异常
    element=WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,"myElement")))
    
finally:
    driver.quit()

隐式等待

隐式等待就是设置一个全局的最大等待时间,单位为秒.在定位元素时,对所有元素设置超时时间,超出了设置时间则抛出异常

隐式等待使用implicitly_wait方法,它使得WebDriver在查找一个Element或者Element数组时,每隔一段特定的时间就会轮询一次DOM,直到Element或数组被发现为止

隐式等待的时间一旦设置,这个设置会在WebDriver对象实例的整个生命周期起作用

from selenium import webdriver

driver=webdriver.PhantomJS()
driver.implicitly_wait(10)
driver.get("http://www.baidu.com")
dynamic_element=driver.find_element_by_id("myElement")
V_lq6h
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python动态网页爬取
01-20
针对不同的动态网页爬取方法，将分别用具体实例进行介绍。本博客主要是直接利用Ajax来获取数据。 页面分析 本博客以MTime电影网为例，主要爬取电影的评分票房等信息。首先使用火狐浏览器的控制台来查看页面信息。 ...
使用selenium webdriver爬取动态网页数据及过程中遇到的问题总结
qq_42062360的博客
11-17 2484
整个过程为登录一个网站，然后从网站中爬取结构化的信息，写入csv文件的过程。 没有写明网址，实际上哪个网站不重要，重要的是此过程中使用的方法，它们都是想通的，理解整个过程，然后灵活使用即可。 文中有使用三种方式来解析网页，以下为整个过程代码(使用的是python3.7)：   #!/usr/bin/python # -*- coding: utf-8 -*-   import csv...
常规动态网页爬取
数据攻城狮的博客
05-29 7481
文章目录使用Selenium库爬取动态网页打开浏览对象并访问页面页面等待页面操作填充表单执行JavaScript元素选取定位一个元素定位多个元素预期条件 使用Selenium库爬取动态网页 需根据浏览器版本下载Chrome的补丁文件chromedriver 打开浏览对象并访问页面 from selenium import webdriver driver=webdriver.Chrome('D:/chromedriver_win32/chromedriver.exe')# Chrome的补丁文件chrome
Python爬虫自学笔记（三）动态网页爬取
qq_41597915的博客
09-13 1万+
现在很多网站用的是动态网页加载技术，这时候用前面的request库和BS4库就不能解决问题了，需要用新的办法。 打开网页，按F12或者右键弹出菜单里选择“检查”，右侧会打开开发者工具。 这里有一排菜单，最左边的是Element，显示的是网页的源代码，如果在这里能直接找到所需要爬取的内容，就说明这是静态页面，可以用 request库和BeautifulSoup4库的工具爬取所需内容。如果这里找不到所需内容，那么就是动态页面。这时候往右面看Network菜单。 Network的功能是：记录在当前页面上
关于Python动态网页爬取的实践记录
qq_35764528的博客
03-27 1256
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、开发背景二、使用步骤1.引入库2.读入数据总结 前言 最初了解到爬虫是在一个机缘巧合之下，当时觉得很神奇、挺有意思，然后就主动了解了，从最开始的静态网页，到动态加载网页，从requests到selenium，再回到requests（尝试分析动态网页json）。本文用来记录我在学习过程中的一些心得体会。 本文主要记录我的第一个实际应用意义的爬虫的开发经历与其中的一些心得体会 一、开发背景 目前国内疫情没有完全平息，各大企事
动态网页爬取.pptx
08-23
动态网页爬取
python网络应用开发-动态网页爬取.docx
11-06
python网络应用开发 实验报告
网络爬虫，动态网页爬取，多线程，并行.zip
最新发布
03-06
其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始...
python动态网页批量爬取
12-30
四六级成绩查询网站我所知道的有两个：学信网（http://www.chsi.com.cn/cet/）和99宿舍（http://cet.99sushe.com/），这两个网站采用的都是动态网页。我使用的是学信网，好了，网站截图如下：   网站的代码如下： ...
Python百度文库爬虫终极版
热门推荐
V_lq6h的博客
04-28 2万+
百度文库爬虫 Python百度文库爬虫之txt文件 Python百度文库爬虫之doc文件 Python百度文库爬虫之pdf文件 Python百度文库爬虫之ppt文件 Python百度文库爬虫之xls文件 Python百度文件爬虫终极版 我们在开始爬虫之前，首先要了解网页的信息和结构，然后获取请求的url和参数(payloads)来得到所要的数据并处理。接下来我们根据： 一.网页分析 二.爬虫...
pandas之read_html爬虫
V_lq6h的博客
04-24 1万+
Pandas之read_html爬虫 一.简介 我们常用的爬虫工具就是urllib和requests.但是我们还没有用过pandas.read_html来爬虫吧,但是他只能爬取table属性内容table,因此功能有所局限.接下来我们分别使用上述方法来实现,来对比一下效果 二.requests爬取 import requests from lxml import etree import pand...
Python百度文库爬虫之doc文件
V_lq6h的博客
04-27 7607
Python百度文库爬虫之doc文件 说明：此文件是在爬取txt文件下的基础进行的，因此重复内容会一笔带过，不懂请看前面爬取txt文件链接 对于文件的所有类型，我都会用一篇文章进行说明，链接： Python百度文库爬虫之txt文件 Python百度文库爬虫之doc文件 Python百度文库爬虫之pdf文件 Python百度文库爬虫之ppt文件 Python百度文库爬虫之xls文件 一.网...
Python百度文库爬虫之ppt文件
V_lq6h的博客
04-28 5292
Python百度文库爬虫之ppt文件 对于文件的所有类型，我都会用一篇文章进行说明，链接： Python百度文库爬虫之txt文件 Python百度文库爬虫之doc文件 Python百度文库爬虫之pdf文件 Python百度文库爬虫之ppt文件 Python百度文库爬虫之xls文件 一.网页分析 PTT文件的内容实际是图片，我们只需要把图片下载并保存 from IPython.display i...
Python百度文库爬虫之pdf文件
V_lq6h的博客
04-28 4541
Python百度文库爬虫之ppt文件 对于文件的所有类型，我都会用一篇文章进行说明，链接： Python百度文库爬虫之txt文件 Python百度文库爬虫之doc文件 Python百度文库爬虫之pdf文件 Python百度文库爬虫之ppt文件 Python百度文库爬虫之xls文件 一.网页分析 说明一下：分析doc文件和pdf文件非常相似，从爬取过程来说基本类似。因此我不会花费太多的语言来说明...
Python百度文库爬虫之txt文件
V_lq6h的博客
04-27 3653
Python百度文库爬虫之txt文件 一.网页分析 txt文件最容易爬取的文件，此文件类型不需要进行文件排版，直接爬取并保存 from IPython.display import Image Image("./Images/txt_0.png",width="600px",height="400px") 此文件的链接(URL)：https://wenku.baidu.com/view/147...
数据解析
V_lq6h的博客
11-08 1924
数据解析 数据格式分为非结构化和结构化两种.非结构化数据是指数据结构不规则或不完整,没有预定义的数据模型,不方便使用数据库二维逻辑来表现的数据,包括所有格式的办公文档,文本,HTML,图像等.结构化数据就是能够用数据或统一的结构加以表示,具有模式的数据,包括XML和JSON等 一.网页解析技术 借助网页解析器从网页中解析和提取出有价值的数据,或者新的URL列表.python支持一些解析网页的技术...
电影评论爬取与分析
V_lq6h的博客
05-21 1453
用户电影评论分析 from snapshot_selenium import snapshot as driver from pyecharts.render import make_snapshot from pyecharts.globals import CurrentConfig,NotebookType CurrentConfig.NOTEBOOK_TYPE=NotebookType.JUPYTER_LAB import pandas as pd import json datas=[
第一节--理解网络爬虫
V_lq6h的博客
02-16 1249
第一节–理解网络爬虫 一.爬虫的定义 网络爬虫是一种按照一定的规则自动地抓取网络信息的程序或者脚本。简单来说，网络爬虫就是根据一定的算法实现编程开发，主要通过URL实现数据的抓取和发掘 传统的爬虫有百度，Google等搜索引擎，这类通用的搜索引擎都有自己的核心算法。但是，这类通用的搜索引擎也存在着一定的局限性： 不同的搜索引擎对于同一个搜索会有不同的结果，搜索出来的结果未必是用户所需的信息 通用...
动态网页爬取问题和建议
05-12
动态网页爬取通常需要使用爬虫框架和工具，例如Selenium和BeautifulSoup等。这些工具可以模拟用户在网页上的操作，包括点击按钮、输入文字等，从而获取动态生成的内容。 在进行动态网页爬取时，需要注意以下问题： 1. 网站反爬虫策略：一些网站会采取一些反爬虫措施，例如设置登录、验证码、IP封锁等，需要进行相应的处理。 2. 网站数据量过大：一些网站数据量非常大，需要进行分页或使用多线程等技术来提高爬取效率。 3. 请求频率过高：频繁请求同一个网站可能会被网站封禁IP，需要适当调整请求频率。 对于建议，我建议您在进行动态网页爬取前，先进行网站分析，确定需要获取的内容和数据结构，然后选择合适的爬虫框架和工具，合理调整请求频率，避免被封IP。同时，要遵守网站的规定和法律法规，不要获取敏感信息或进行非法活动。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值