python_爬虫_webdriver模拟器

最新推荐文章于 2024-10-07 21:00:00 发布
最新推荐文章于 2024-10-07 21:00:00 发布
阅读量1k 收藏 1
点赞数
分类专栏： python_爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39532362/article/details/87901678
版权

爬虫_selenium模拟器

初始化及配置

firefox

from selenium import webdriver
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

def get_driver():
  # 构造配置对象
  fp=webdriver.FirefoxProfile()

  # 用系统浏览器的配置
  #fp=webdriver.FirefoxProfile(r'C:\Users\Administrator\AppData\Roaming\Mozilla\Firefox\Profiles\pu72dfl6.default')
  
  # 设置新窗口打开方式：1当前窗口；2新窗口；3标签页)
  fp.setPreference("browser.link.open_newwindow", 3);

  # 禁用CSS
  fp.set_preference('permissions.default.stylesheet', 2)
  
  # 禁用加载图像
  fp.set_preference('permissions.default.image', 2)
  
  # 禁用加载Flash
  fp.set_preference('dom.ipc.plugins.enabled.libflashplayer.so','false')

  # 设置文件下载路径：0下载到桌面；1下载到默认路径；2自定义下载路径；
  fp.set_preference("browser.download.folderList",2)
  fp.set_preference("browser.download.dir",os.getcwd())
  
  # 在开始下载时是否显示下载管理器
  fp.set_preference("browser.download.manager.showWhenStarting",False)
  
  # 对所给出文件类型不再弹出框进行询问
  fp.set_preference("browser.helperApps.neverAsk.saveToDisk","text/csv")

  # 指定配置文件及启动文件路径
  return webdriver.Firefox(firefox_profile=fp,executable_path=r'.\Mozilla Firefox\geckodriver')

bw=get_driver()
bw.get(url)

设置打开窗口方式

  • 如果代码设置失败，需要修改selenium的firefox配置文件webdriver_prefs.json
  • 路径：Python\Lib\site-packages\selenium\webdriver\firefox\

手动设置地址

  • about:config：firefox浏览器设置地址

chrome

# 生成设置
options = webdriver.ChromeOptions()

# 更换头部
options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36')

# 加载文件路径
options.add_argument('--user-data-dir=./chrome/data') 

# 不加载图片【2=n;3=y】
prefs={"profile.managed_default_content_settings.images":2}
options.add_experimental_option("prefs",prefs)

# 设置无界面浏览器
options.add_argument('--headless')
options.add_argument('--disable--gpu')

# 设置代理
options.add_argument('--proxy-server=http://ip:port')

# 设置报错级别
options.add_argument('--log-level=3')

# 启动时安装crx扩展
options.add_extension('d:\crx\AdBlock_v2.17.crx')

# 启动
browser = webdriver.Chrome(chrome_options=options,executable_path='./Chrome/chromedriver')

# 全屏
browser.maximize_window()

常用函数及属性

浏览器属性方法：

  • bw.get(url)：提交请求
  • bw.colse()：关闭浏览器
  • bw.refresh()：刷新
  • bw.current_url：获取当前url
  • bw.page_source：获取源码
  • bw.find_element_by_xpath('//*').get_attribute('outerHTML')：获取源码
  • bw.back()：后退
  • bw.forward()：前进
  • bw.switch_to_window(bw.window_handles[0])：切换选项卡
  • bw.switch_to.frame(str/int)#name,id,webelement：切换到指定iframe
  • switch_to.parent_frame()：切换父iframe
  • get_cookies()：获取cookies
  • delete_all_cookies()： 删除所有cookies
  • add_cookie({'name':'zzz','age':18})：增加cookies

执行js

  • bw.execute_script('window.scrollTo(0, document.body.scrollHeight)')：滚动到底部
  • bw.execute_script('window.stop()')：停止加载

对话框：

  • bw.switch_to_alert().accept()：同意对话框
  • bw.switch_to_alert().dismiss()：取消对话框

元素交互：

  • ele.clear()：清除可输入节点的内容
  • ele.send_keys(str)：在可输入节点键入内容
  • ele.click()：点击节点

获取节点内容：

  • ele.id：获取id
  • ele.tag_name：获取标签名
  • ele.location：获取位置
  • ele.size：获取字节数
  • ele.text：获取文本
  • ele.get_attribute('innerText')：获取文本
  • ele.get_attribute('class')：获取属性内容

截屏

  • save_screenshot()：当前目录
  • get_screenshot_as_file(filename)：制定路径

定位元素

搜索单个返回第一个元素

  • find_element_by_id(str)：id
  • find_element_by_class_name(str)：classname
  • find_element_by_tag_name(str)：标签名
  • find_element_by_name：name
  • find_element_by_link_text(str)：文字内容
  • find_element_by_partial_link_text(str)：部分文字内容
  • find_element_by_css_selector(str)：css选择器
  • find_element_by_xpath(str)：xpath

搜索全部返回列表

  • find_elements_by_id(str)：id
  • find_elements_by_class_name(str)：classname
  • find_elements_by_tag_name(str)：标签名
  • find_elements_by_name：name
  • find_elements_by_link_text(str)：文字内容
  • find_elements_by_partial_link_text(str)：部分文字内容
  • find_elements_by_css_selector(str)：css选择器
  • find_elements_by_xpath(str)：xpath

利用By对象定位

from selenium.webdriver.common.by import By

  • bw.find_element(By.ID, str)
  • bw.find_element(By.CLASS_NAME, str)
  • bw.find_element(By.TAG_NAME, str)
  • bw.find_element(By.NAME, str)
  • bw.find_element(By.LINK_TEXT, str)
  • bw.find_element(By.PARTIAL_LINK_TEXT, str)
  • bw.find_element(By.CSS_SELECTOR, str)
  • bw.find_element(By.XPATH, str)

交互动作

from selenium.webdriver import ActionChains

bw.switch_to.frame('iframeResult')#name,id,webelement
source=bw.find_element_by_css_selector('#draggable')
target=bw.find_element_by_css_selector('#droppable')

actions=ActionChains(bw)
actions.drag_and_drop(source,target)
actions.perform()

窗口操作

import time

# 打开5个新窗口
for i in range(5):
    bw.execute_script("window.open('https://www.baidu.com/')") 

# 获取当前窗口句柄
windows = bw.current_window_handle

# 获取所有窗口句柄
all_handles = bw.window_handles
 
# 遍历窗口句柄
for handle in all_handles:
    if handle!=windows:
        bw.switch_to_window(handle)
        print(handle)
        time.sleep(2)

快捷键

from selenium.webdriver.common.keys import Keys

ele.send_keys(Keys.BACK_SPACE) #删除键（BackSpace）
ele.send_keys(Keys.SPACE) #空格键(Space)
ele.send_keys(Keys.TAB) #制表键(Tab)
ele.send_keys(Keys.ESCAPE) #回退键（Esc）
ele.send_keys(Keys.ENTER) #回车键（Enter）
ele.send_keys(Keys.F1) #键盘 F1

ele.send_keys(Keys.CONTROL,'a') #全选（Ctrl+A）
ele.send_keys(Keys.CONTROL,'c') #复制（Ctrl+C）
ele.send_keys(Keys.CONTROL,'x') #剪切（Ctrl+X）
ele.send_keys(Keys.CONTROL,'v') #粘贴（Ctrl+V）

# 打开新窗口
bw.execute_script("window.open('')")

中断

from selenium.common import exceptions

bw.set_page_load_timeout(5)
bw.set_script_timeout(5)
  
try:
	bw.get(url)
except exceptions.TimeoutException:
	bw.execute_script('window.stop()')

等待

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(browser, 10)

key = wait.until(EC.presence_of_element_located((By.ID, 'key')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn')))
kw = wait.until(lambda driver:driver.find_element_by_id("kw"))

print(key, button, kw)

常用等待条件判断

title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')
visibility_of_element_located 元素可见，传入定位元组
visibility_of 可见，传入元素对象
presence_of_all_elements_located 所有元素加载出
text_to_be_present_in_element 某个元素文本包含某文字
text_to_be_present_in_element_value 某个元素值包含某文字
frame_to_be_available_and_switch_to_it frame加载并切换
invisibility_of_element_located 元素不可见
element_to_be_clickable 元素可点击
staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected 元素可选择，传元素对象
element_located_to_be_selected 元素可选择，传入定位元组
element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返

其他使用参考链接

  • 交互动作 http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains
  • 等待判断 http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions
  • 异常 http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions
Python爬虫入门教程 41-100 Fiddler+夜神模拟器+雷电模拟器配置手机APP爬虫部分
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
01-08 2万+
从40篇博客开始，我将逐步讲解一下手机APP的爬虫，关于这部分，我们尽量简化博客内容，在这部分中可能涉及到一些逆向，破解的内容，这部分尽量跳过，毕竟它涉及的东西有点复杂，并且偏离了爬虫体系太远，有兴趣的博友，可以一起研究下。 之前看到知乎有人对手机App爬虫归类，基本符合规则，接下来的10篇博客可能集中在80%的App上，所以还是比较简单的 50%的app，通过抓包软件就可以分析出抓取...
Python 工具 之 Selenium 、webdriver 的安装，以及模拟打开操作浏览器的简单实现
仙魁XAN
02-15 797
报错 selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. 1.打开chrome 输入 “chrome://version/”来查看chrome版本 如图我的是63 2.访问此网站...
使用WebDriver进行网络爬虫
WchStrife的博客
10-06 6702
一、简介WebDriver官方对其描述如下： Webdriver (Selenium2）是一种用于Web应用程序的自动测试工具，它提供了一套友好的API，Webdriver完全就是一套类库，不依赖于任何测试框架，除了必要的浏览器驱动，不需要启动其他进程或安装其他程序，也不必像Selenium 1那样需要先启动服务。 Selenium 2则是通过原生浏览器支持或者浏览器扩展直接控制浏览器。
selenium的webdriver常用方法和属性介绍(2)
最新发布
kymppcds的博客
10-07 1570
从selenium导入webdriver模块，在pycharm中跳转webdriver模块的__init__.py文件，内容如图所示：从selenium包的子目录中导入了很多模块并做了重命名，用于支持如下Chrome/Edge/Ie/Firefox/Safari浏览器。使用方法类似如下：先导入webdriver模块然后使用get函数打开网页地址，比如打开百度。
Python爬虫模拟浏览器神器
Trb201013的博客
02-22 1486
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。最后祝大家天天进步！
【python爬虫】设计自己的爬虫 4. 封装模拟浏览器 PyppeteerSimulate
loyd3的博客
01-06 631
Pyppeteer的背后实际上有一个类似于Chrome的浏览器–Chromium。Pyppeteer是Puppeteer的Python版实现。
Python 爬虫模拟器
weixin_44499757的博客
06-10 1018
Python 爬虫模拟器 创建时间：2020年1月21日 更新时间：2021年1月19日 工具：python、fiddler、爬虫模拟器 说明：适合http或https的请求 1、安装fiddler抓包工具 2、安装python 环境 3、打开fiddler工具，然后打开浏览器访问你需要抓包的网站，此时你访问网站的数据将被fiddler截获。 4、点击网页请求头下边的“View In Notepad”，弹出一个文本内容。 5、复制文件内容，打开爬虫模拟器目录，更新config文件夹下的RawFi
Python学习_32 爬虫（三）webdriver
燕子的博客
06-27 756
Python学习_32爬虫（三）webdriver1、Selenium是ThroughtWorks公司开发的一套Web自动化测试工具。它分为三个组件：Selenium IDESelenium RC (Remote Control)Selenium WebdriverSelenium IDE是firefox的一个插件，允许测试人员录制脚本并回放。Selenium RC和Selenium Web...
python爬虫使用selenium+webdriver模拟浏览器登录
左上晨的博客
09-25 1115
爬虫页面登录： 1. 通过抓包直接模拟登录 2. selenium+webdriver的方式 有的网站直接登录难度很大，采用selenium就相对轻松一些。虽然在登录的时候采用的是selenium,为了效率，我们可以在登录过后得到的cookie维护起来，然后调用requests或者scrapy等进行数据采集，这样数据采集的速度可以得到保证。 python爬虫使用selen...
python爬虫模拟扫码登录_Python爬虫模拟登录的黑魔法
weixin_39669265的博客
12-04 2305
今天用 requests + BeautifulSoup 抓取 aliexpress 的时候， 在模拟登录时候出现了很多问题， 提交数据时会对密码等一些字段加密， 而且提交一大堆不知名的字段， 大概有二十多项。 看到那么多字段， 整个人就不好了， 作为一个懒人， 准备绕过这个坑。大概思路是这样， 通过 selenium 打开浏览器， 模拟登录。 获取cookies ，并将cookies以文件的形式...
python3反爬虫原理与绕过实战 网盘_Python 3反爬虫原理与绕过实战
weixin_39640909的博客
12-03 3039
第 1章　开发环境配置 11.1　操作系统的选择 11.1.1　Ubuntu 简介 11.1.2　VirtualBox 的安装 21.1.3　安装 Ubuntu 31.1.4　全屏设置 81.1.5　Python 设置 91.2　练习平台 Steamboat 101.2.1　安装 Docker 111.2.2　安装 Steamboat 121.2.3　Steamboat 使用说明 141.3　第三...
Python爬虫：详解Appium如何爬取手机App数据以及模拟用户操作手势
热门推荐
李元静
08-27 1万+
目录Appium模拟操作屏幕滑动屏幕点击屏幕拖动屏幕拖拽文本输入 Appium 在前文的讲解中，我们学会了如何安装Appium，以及一些基础获取App元素内容的方式。但认真看过前文的读者，肯定在博主获取元素的时候观察到了一个现象。 那就是手机App的内容并不是一次性加载出来的，比如大多数Android手机列表ListView，都是异步加载，也就是你滑动到那个位置，它才会显示出它的内容。 也就是说，我们前面爬取微博首页全部信息的时候，如果你不滑动先加载一定的微博内容，也就如上图所示，只能获取2个微博内容。
Python网络爬虫，Appuim+夜神模拟器爬取得到APP课程数据
10-28 1718
一、背景介绍 随着生产力和经济社会的发展，温饱问题基本解决，人们开始追求更高层次的精神文明，开始愿意为知识和内容付费。从2016年开始，内容付费渐渐成为时尚。 罗辑思维创始人罗振宇全力打造“得到APP”就是这样一款优质的可以听音频、学通识课程、看电子书、看直播、记笔记的知识付费平台，得到汇聚罗振宇、薛兆丰、梁宁、万维钢、吴军、香帅、宁向东等各个领域的专家学者的精品课程，致力于服务所有终身学习者。...
Python-butterfly一个用pythontornado实现的web终端模拟器
08-10
butterfly一个用python tornado实现的web终端模拟器，可以在浏览器实现终端模拟，各种颜色高亮都有，无须对终端的各种配置
Python DEMO 模拟浏览器提取网页元素
爱孔孟
03-15 225
from selenium import webdriver import time url = "https://www.airbnb.cn/s/shenzhen--china/homes?items_offset=" # 设置无图像，禁用JS, 加快网页访问速度 fp = webdriver.FirefoxProfile() fp.set_preference("permissions.default.image", 2) fp.set_preference("javascript.enable",.
Python爬虫模拟器，让网络爬虫工作变得如些简单，会电脑操作就会网络爬虫！
06-10
Python爬虫模拟器，让网络爬虫工作变得如些简单，会电脑操作就会网络爬虫！
chatgpt赋能python：Python在线模拟器：让编程变得更加轻松
「 虚幻私塾」
06-05 1121
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
Python使用Splinter(Selenium)进行浏览器模拟测试【转载】
野猫炫的博客
03-30 915
Python使用Splinter(Selenium)进行浏览器模拟测试 原文地址：Python使用Splinter(Selenium)进行浏览器模拟测试 | 豪翔天下 每次看到selenium都觉得很牛，但是苦于文档(包括英文)太少，我到今天才真正完整地安装使用了一把。我不喜欢来一个项目就在自己电脑上搭一个运行环境，而是喜欢在docker或者虚拟机里进行操作，问题是docker或者虚拟机里并没有任何的可视化的浏览器，而Selenium又依赖于这些浏览器驱动，我是最讨厌安装驱动的，因为驱动这个东西电脑不同
Python之使用webdriver爬虫网络数据
ShanDong_Chu
06-14 6688
介绍使用Python来进行数据爬虫
webdriver--Python
ircszwfcbvdgk234的博客
11-20 238
一、利用WebDriver定位网页元素： 1、find_element_by_id(“kw”) 2、find_element_by_name(“wd”) 3、find_element_by_class_name(“s_ipt”) 4、find_element_by_tag_name(“input”) 5、find_element_by_link_text(“新闻”) 精准匹配 6、fin
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值