selenium+python 自动化测试,下载文件过程中出现对话框问题的处理

近来,学习selenium ,下载文件过程中,浏览器会弹出对话框。遇到这种情况,笔者综合网上的教程,写出注意事项。 笔者的环境是:win 7 64位 +python 3.6 +Firefox 50.0.1 +selenium3.0.2 第一步:需要下载某个文件,例如下载网站http://vdi...

2019-04-05 10:56:25

阅读数 129

评论数 0

selenium下载文件

一、Firefox文件下载Web容许我们设置默认的文件下载路劲,文件会自动下载并且存放在指定的目录下。 from selenium import webdriver import os fp = webdriver.FirefoxProfile() fp.set_preference("...

2019-04-04 10:17:56

阅读数 95

评论数 0

Python 爬虫 selenium 打开新窗口 和 多窗口切换

转载自:https://blog.csdn.net/mouday/article/details/81240257 使用 js 代码实例: # -*- coding: utf-8 -*- import time from selenium import webdriver browser ...

2019-04-04 10:13:04

阅读数 33

评论数 0

爬虫必备工具,掌握它就解决了一半的问题

每个网站抓取的代码各不相同,不过背后的原理是相通的。对于绝大部分网站来说,抓取的套路就那么一些。今天这篇文章不谈任何具体网站的抓取,只来说一个共性的东西: 如何通过Chrome 开发者工具寻找一个网站上特定数据的抓取方式。 (我这里演示的是 Mac 上的英文版 Chrome,Windows 中...

2019-04-02 22:22:58

阅读数 32

评论数 0

chrome和Firefox浏览器http抓包

一、chrome浏览器抓包 谷歌浏览器chrome自带的http抓包工具打开方式:点击chrome浏览器右上角的菜单-->工具-->开发者工具。(或者Ctrl+shift+I) 工具打开之后默认就是监测状态,点击工具左上方的小红点record network log,...

2019-04-02 22:21:25

阅读数 34

评论数 0

Selenium-免登录的实现

场景:   经常会遇到登录需要验证码这样类似的情况 解决方案:   1.万能验证码   2.利用cookies来实现,问开发哪个cookies值是登录后需要的,把这个值带上即可   3.利用火狐浏览器的profile文件来实现(首先需要手工登录一次,且勾选记住信息)   4.手工输入(...

2019-04-02 21:30:30

阅读数 54

评论数 0

selenium模拟登录京东

from selenium import webdriver import time from lxml import etree import requests # import ssl # # ssl._create_unverified_context() # selenium抓到cooki...

2019-04-02 21:23:37

阅读数 55

评论数 0

'chromedriver' executable needs to be in Path

声明:本人萌新,刚学python不久记录一下自己的坑,发出来若能帮助到一些人尽早解决问题那便是极好的,( ̄▽ ̄)" 在进行爬虫爬取淘宝商品信息时候,利用selenium来模拟浏览器进行爬取时遇到了这个问题:   selenium.common.exception.WebDriverE...

2019-04-02 21:15:46

阅读数 55

评论数 0

关于selenium3,““selenium.common.exceptions.WebDriverException: Message: 'geckodriver'

“selenium.common.exceptions.WebDriverException: Message: ‘geckodriver’ executable needs to be in PATH.” 先来看这个错误的具体问题,找不到’geckodriver’ 的环境path, selen...

2019-04-02 20:52:16

阅读数 29

评论数 0

Python爬虫 获得淘宝商品评论

自从写了第一个sina爬虫,便一发不可收拾。进入淘宝评论爬虫正题:   在做这个的时候,也没有深思到底爬取商品评论有什么用,后来,爬下来了数据。觉得这些数据可以用于帮助分析商品的评论,从而为用户选择商品提供一定的可参考数据。     找评论所在真实url:有了前面爬搜狗图片的经验,面对找资料...

2018-07-20 15:51:29

阅读数 646

评论数 1

Python爬取淘宝商品详情页数据

在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示:当这个插件处于关闭状态时,待爬取的页面显示的数据如下:当这个插件处于打开状态时,待爬取的页面显示的数据如下:  可以看到,页面上很多数据...

2018-05-09 00:57:53

阅读数 646

评论数 0

Python-第三方库requests详解

Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urlli...

2018-05-09 00:45:36

阅读数 130

评论数 0

python淘宝爬虫基于requests抓取淘宝商品数据

在学校蹭过python的课,觉得python异常强大,趁寒假有时间,瞎搞一下,希望能和大伙一起探讨学习。废话不多说了,直接正题。requests 是Python的http库,可以完成绝大部分与http应用相关的工作,当然对一些常规的数据抓取还是很方便。 详细看手册: http://docs.pyt...

2018-05-07 14:23:19

阅读数 652

评论数 0

python正则之模式re.I re.M

re.I 忽略大小写>>> re.match(r"A","abc",re.I)<_sre.SRE_Match object at 0x00...

2018-05-07 13:37:03

阅读数 6809

评论数 0

python requests 图片保存以及--踩的坑

在python 中获取网页中的图片,保存到本地。例子:html = requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&s...

2018-04-17 13:44:19

阅读数 283

评论数 0

$.ajax()方法详解

query中的ajax方法参数总是记不住,这里记录一下。 1.url: 要求为String类型的参数,(默认为当前页地址)发送请求的地址。2.type: 要求为String类型的参数,请求方式(post或get)默认为get。注意其他http请求方法,例如put和delete也可以使用,但仅部分浏...

2018-04-11 16:35:04

阅读数 64

评论数 0

如何应对网站反爬虫策略?如何高效地爬大量数据?

作者:申玉宝链接:https://www.zhihu.com/question/28168585/answer/74840535来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti-Spi...

2018-03-28 10:27:25

阅读数 701

评论数 1

Python爬虫技巧---设置代理IP

在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术,高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧,设置代理IP。(一)配置环境安装requests库安装bs4库安装lxml库(二)代码展示# I...

2018-03-27 16:10:24

阅读数 164

评论数 2

爬虫与反爬虫大战

爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家?重新理解爬虫中的一些概念爬虫:自动获取网站数据的程序反爬虫:使用技术手段防止爬虫程序爬取数据误伤:反爬虫技术将普通用户识别为爬虫,这种情况多出现在封ip中,例如学校网络、小区网络再或者网络网络都是共享一个公共ip,这个...

2018-03-27 14:56:39

阅读数 226

评论数 0

Python2.7如何从包含汉字和数字的字符串中截取数字

今天有一个小伙伴想要从“498人”这个字符串里截取数字出来,我脑子里虽然飘过不少方法,但是觉得不码出来就等于是空的。网上找了些资料,总结出了一些干货,在此记录下来。首先先看一个字符串:mystring = u'今年18岁'1这个字符串有汉字还有数字,现在我们要提取出其中的数字,或许我们马上就会想到...

2018-03-19 13:49:18

阅读数 1262

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭