![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
Cocktail_py
这个作者很懒,什么都没留下…
展开
-
【Selenium】控制当前已经打开的 chrome浏览器,获取Network数据
参考:https://frica.blog.csdn.net/article/details/126551260https://frica.blog.csdn.net/article/details/126389273转载 2022-12-06 10:24:30 · 1162 阅读 · 0 评论 -
同花顺滑块
参考:https://blog.csdn.net/qq_44657571/article/details/134135209。目标网站 aHR0cHM6Ly91cGFzcy4xMGpxa2EuY29tLmNuL2xvZ2lu。转载 2024-02-27 19:45:00 · 63 阅读 · 0 评论 -
绕过无限debugger
参考:https://blog.csdn.net/kdl_csdn/article/details/135137490。改为Firefox浏览器进行调试,取消勾选 Pause on debugger statement。原创 2024-02-04 11:41:25 · 465 阅读 · 0 评论 -
建筑市场监管公共服务平台 JSON Hook
目标网 aHR0cHM6Ly9qenNjLm1vaHVyZC5nb3YuY24vZGF0YS9jb21wYW55。在控制台输入Hook代码。原创 2024-01-24 15:56:25 · 502 阅读 · 0 评论 -
某市公共资源交易网
参考: https://blog.csdn.net/weixin_46672080/article/details/126003502?分析页面:aHR0cDovL2dnenkuendmd2IudGouZ292LmNuL3h3engvaW5kZXhfMi5qaHRtbA==当鼠标点击标题时,标题会跳转到新的窗口并且URL会发生变化,所以我们可以找到对应标题的a对应的事件监听click。原创 2024-01-08 15:39:37 · 434 阅读 · 0 评论 -
python 获取屏幕当前鼠标所在的坐标并拖动指定距离
【代码】python 获取屏幕当前鼠标所在的坐标并拖动指定距离。原创 2023-07-27 20:42:44 · 738 阅读 · 0 评论 -
自动化测试框架:DrissionPage
参考:http://g1879.gitee.io/drissionpagedocs/get_start/examples/control_browser/原创 2023-04-28 16:48:01 · 686 阅读 · 0 评论 -
突破tls校验常用方法
写爬虫的时候,觉得只要自己每次请求都使用不同的代理 IP,每次请求的 Headers 都写得跟浏览器的一模一样,就不会被网站发现。但实际上,还有一个东西,叫做浏览器指纹,它是不会随着你更换 IP 或者 User-Agent 而改变的。而且即使你不使用模拟浏览器,你直接使用 Golang、使用 Python,它们也有自己各自的指纹,并且他们的指纹每次请求也是固定的。只要网站发现某个拥有特定指纹的客户端持续高频率请求网站,它就可以把你封掉。检测算法,叫做JA3算法。原创 2023-03-02 15:34:29 · 2169 阅读 · 0 评论 -
fiddler安卓模拟器与ios手机抓包
①使用手机的safari浏览器,输入网址http://:8888/(就是您的PC端电脑IP地址+端口号),跳转到 Fiddler Echo Service 证书下载页;①进入【设置】,查看连接的WIFI,进入HTTP代理,设置为手动,然后填写服务器:输入fiddler的电脑ip地址192.168.8.109和端口8888,点击【存储】保存即可。④根据提示,回到手机的【设置】-【通用】中,找到“描述文件”,可以看到下载的证书在那里。⑤选择安装文件,点击【安装】,根据提示完成安装即可。原创 2022-11-26 20:09:16 · 2351 阅读 · 0 评论 -
NodeJs中使用jQuery
1.安装jquery以及jsdomnpm install jsdomnpm i jquery2.jquery例子// const $ = require('jquery')(require("jsdom").jsdom().defaultView);//老版本// 参考https://www.cnblogs.com/DonaHero/p/10001804.htmlconst jsdom = require('jsdom');const {JSDOM} = jsdom;const {docu转载 2022-04-15 16:59:36 · 2427 阅读 · 0 评论 -
selenium.common.exceptions.ElementClickInterceptedException [转载]
页面存在两个或两个以上相同元素导致selenium无法点击WebDriverWait(browser, 10).until(EC.presence_of_all_elements_located((By.XPATH, b_xpaht)))[1].click()通过以下方式解决:# 1.使用键盘回车键的方式WebDriverWait(browser, 10).until( EC.presence_of_all_elements_located((By.XPATH, b_x转载 2022-04-12 20:05:19 · 230 阅读 · 0 评论 -
python urllib socks5 auth username password 设置
在使用一批socks5带用户名和密码的代理的时候需要用到urllib这个python库# https://pypi.org/project/PySocks/import urllibimport socksimport socket# from urllib import requestfrom urllib.error import URLErrorusername = "username"password = "password"ip = "107.*.*.122"port = .原创 2020-12-15 19:44:20 · 6156 阅读 · 2 评论 -
scrapy 信号扩展中间件(signals EXTENSIONS)使用
一. signals EXTENSIONS# -*- coding: utf-8 -*-# @Time : 2021/12/31 10:58# @Author : Cocktail_py# @File : extensions.pyimport timefrom scrapy import signalsfrom datetime import datetimeclass SignalsExtension(object): @classmethod def原创 2022-01-26 13:59:19 · 694 阅读 · 0 评论 -
Python 微软开源自动化工具 Playwright
1.安装依赖以及相应驱动pip install playwrightpython -m playwright install2.参考示例# -*- coding: utf-8 -*-# @Time : 2021/05/07 14:50# @Author : from playwright.sync_api import sync_playwrightdef run(playwright): browser = playwright.chromium.launch(he原创 2021-05-08 12:03:06 · 594 阅读 · 1 评论 -
滑块验证码
# -*- coding: utf-8 -*-import numpy as npimport randomfrom selenium.webdriver import ActionChainsimport timefrom selenium import webdriverfrom PIL import Imageimport osfrom selenium.webdriver.support.ui import WebDriverWait# opencv-python需要安装这个模块转载 2021-11-07 17:32:52 · 245 阅读 · 0 评论 -
scrapy post发送请求400状态码
# 请求头注释掉Content-Length# 'Content-Length': '38'参考:https://www.jianshu.com/p/ed3924385baf转载 2022-01-06 10:37:34 · 272 阅读 · 0 评论 -
docker swarm selenium分布式爬虫
需求:公司需要采集一批数据,需要将selenium爬虫部署在20多台国外服务器上面搭建swarm集群# 步骤一:# 构建swarm主节点(47.*.*.A服务器)docker swarm init --advertise-addr=47.*.*.Adocker swarm join --token SWMTKN-1-43a3vzvyk8j6**nfxscrbyo*****2g1fp...原创 2019-09-06 14:42:24 · 607 阅读 · 4 评论