自动化测试
rocket v3.5.6
这个作者很懒,什么都没留下…
展开
-
【最全】JS获取浏览器属性信息
前言当一个爬虫工程师遇到逆向的时候,如果你使用的 selenuim 或者 pyppeteer 的时候,你是否考虑过,对浏览器的特征进行检查,这样你才能过得了设防。总之,个人觉得还不错,这些属性值检查还挺全的,所以就收藏起来了,别说了 Just do IT ,燥起来吧~~~<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional/...原创 2020-03-16 22:29:27 · 1703 阅读 · 0 评论 -
(2020最新版)如何正确移除 Pyppeteer 中的 window.navigator.webdriver
在《在Pyppeteer中正确隐藏window.navigator.webdriver 》一文中,我们介绍了修改源代码使Pyppeteer打开的 Chrome隐藏window.navigator.webdriver的方法。然而时过境迁,随着 Chrome版本升级,这一方法也宣告失效。在前几天的文章《(最新版)如何正确移除中的 window.navigator.webdriver 》。我们介绍了...原创 2020-03-08 10:23:41 · 1921 阅读 · 2 评论 -
(2020)使用Airtest来爬取某宝评论数据
本帖子背景:本帖子,是一个学习的过程。一个爬取某宝评论的小单子,促使我前来学习简单的、不用掉头发的、不用爆肝的(再说,我也没那能力去硬干它啊)教程昨天晚上,大学四年的舍友微信问我“说还搞爬虫吗,给我搞点某宝的评论数据呗,搞一些就行了,拿来做营销比赛的,做分析的”。我看到是某宝,便回复“阿里的东西不好搞,风控太厉害了,加密参数摸不着入口,晚上回去可以给你试一下,不敢保证做出来哇”然后,我下...转载 2020-01-11 23:37:48 · 2360 阅读 · 0 评论 -
Python selenium 自动化测试,一定要会用selenium的等待,三种等待方式解读
发现太多人不会用等待了,博主今天实在是忍不住要给大家讲讲等待的必要性。很多人在群里问,这个下拉框定位不到、那个弹出框定位不到…各种定位不到,其实大多数情况下就是两种问题:1 有frame,2 没有加等待。殊不知,你的代码运行速度是什么量级的,而浏览器加载渲染速度又是什么量级的,就好比闪电侠和凹凸曼约好去打怪兽,然后闪电侠打完回来之后问凹凸曼你为啥还在穿鞋没出门?凹凸曼分分中内心一万只羊...转载 2018-07-21 17:12:42 · 5410 阅读 · 0 评论 -
从pdf提取图片,有两个库可以提取fitz(要install pymupdf)、pdfminer(install pdfminer3k)
前言:下面的代码有注释,下面的也是参考别人的,但是忘记来源了,因为时间隔太久了,哪位小伙伴看到了,可以提一下链接方法一,这个测试是有用的,fitz(要install pymupdf)#!/usr/bin/python3# -*- coding: utf-8 -*-# @Time : 2019/3/19 08:51# @Author : qizai# @File : fet...原创 2019-08-11 18:29:39 · 6628 阅读 · 13 评论 -
必知必会:selenuim/pyppeteer模拟登陆防检测,能够屏蔽一小部分简单的检测
前言对于使用模拟登陆等操作来爬虫的手段,已经很容易被检测了,网上很多教程是说在网站所有js代码执行之前来执行下面几个js代码来到达效果:js1 = '''() =>{Object.defineProperties(navigator,{ webdriver:{ get: () => false}})}'''js2 = '''() => {alert(window.navig...原创 2019-09-08 21:50:31 · 6843 阅读 · 0 评论