- 博客(14)
- 收藏
- 关注
RSS订阅原创 阿*无(感)痕验证acw_sc__v3逆向逻辑思路
经过抓包发现仅此接口有关：https://cf.aliyun.com/nocaptcha/analyze.jsonp。成功code为0，则获得csessionid，与value参数。带着两个参数加上token发起最后的请求，则会重定向307。所以本人仅差n参数即可完全逆向整个滑块。，备注：v3，秒通过！
2022-09-02 16:45:58
4425
12
原创 Requests中SSl指纹识别问题解决
背景：由于此网站postman能够请求，但requests无法发起请求，会报SSL错误，打开抓包工具时即可发起requests请求 ，如果出现如上症状，即可能为本次案例情况！！（一定要看重点！！！）版本：requests==2.22.01、问题重现具体报错为：requests.exceptions.SSLError: HTTPSConnectionPool案例链接为：????链接在这????其中postman请求如下（如此正常）：但是一旦使用requests请求就会犯病，具体如下（SSL
2021-12-19 17:44:08
4436
原创 关于Docker中failed to solve with frontend dockerfile.v0: failed to read dockerfile:报错
以下是docker报错原因：failed to solve with frontend dockerfile.v0: failed to read dockerfile: open /var/lib/docker/tmp/buildkit-mount942963961/Dockerfile: no such file or directory从报错中观察发现是缺少了Dockerfile文件，一般问题：1、未cd到当前目录，导致找不到Dockerfile文件记得打开管理员权限运行2、添加了.
2021-03-24 10:47:50
47560
8
原创 Python截胡修改scrapy-redis适应动态redis_key，自由拼接url！！
能看到这篇文章的人想必是有一定了解scrapy的人，但是由于redis_key非动态性以及不符合业务的url拼接的原因，导致scrapy_redis对于某些业务非常不顺手，甚至不适应业务！！但是！！通过截胡修改源码的方式能够使得redis_key动态变化，并且url能够自由拼接~~必须点赞！！一、咱们先来看看框架的简介scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。有如下特征：1、分布式爬取您可以启动多个spider工程，相互之间共.
2021-01-04 12:02:01
915
1
原创 惊了！！今日头条(巨量)滑块验证码强势破解！！
开头语：除非是很简单的参数能够解决滑块问题或者追求效率的业务，否则的话，我还是会selenium来解决，并且接下来的验证码模式的话不需要使用到原图进行比较！！我发现很多网站都是基于比较原图，发现缺口的方式来获取坐标，而我有不同的小思路。并且该滑块验证码有特殊性，如果遇到可以收藏并点赞！！！！开发工具：Python版本：3相关模块：selenium模块、PIL模块 以及一些python自带的模块。Chromedriver：在下面这个链接里下载和电脑上的谷歌浏览器版本相匹配的驱动：h.
2020-09-22 11:07:35
5431
8
原创 Python3+Scrapy+Selenium腾讯企业邮箱的指定邮件读取功能
1.最近经理被邮件烦到了，可能是太多了，想着批量读取并将需要的数据处理好，传到他的接口去，无奈腾讯的js又多，又难，又绕~看不懂看不懂，手动狗头。于是准备使用selenium模拟浏览器的方式2.由于需要每天定时爬取，所以这里使用的是scrapy框架，其实、、主要作用是为了定时方便才用的，直接发布就行了。之前有定时框架了，所以采用scrapy。不是定时的朋友直接用自己喜欢的方式就行了3.先导入一些库，好像有些没用到。。反正是灰色的就去掉或者注释就行了~import jsonimport reimpo
2020-06-22 13:34:33
2425
原创 PYTHON3关于json串的拼接操作~
组装json格式数据今天突然想发一个组装拼接json数据的方法！新的改变我对之前写的拼接json数据的方法非常失望，效率低的同时，还很辣鸡。。点击这里进入辣鸡方法~全新的json拼接思路 ，将会带来全新的拼接体验；减少了 代码量 ，你可以自由随意拼接；利用了 字典格式 ；这里主要用到的是字典格式！return_json = {"name":0,"sex":"Success","age":"","data":{"NO":"","Mood":"happy","Hobby":[]}}如果
2020-05-30 12:30:11
11216
6
原创 关于Scrapy框架post请求request payload参数报错以及解决方案
今天写一个爬虫脚本的时候遇到需要使用post这个request payload参数，但是由于之前用的requests库，轻松post便可完美爬取~改到scrapy时就不行1.直接使用FromRequest报错：ValueError: not enough values to unpack (expected 2, got 1)无论我怎么添加修改FromRequest其中的参数都不行，然后查了一下发现FromRequest并不支持传request payload，只能对付一下form data这种类型的
2020-05-19 11:31:10
1481
原创 python3安装库时关于 ImportError: cannot import name ‘Feature‘ from ‘setuptools‘报错解决
今天给服务器安装spiderkeeper库管理scrapy时报错，之前都是美滋滋的，突然就报错，一脸懵，具体的报错情况如下。（千万别去弄什么c++，坑哭你。。。）定睛一看是这样的 ImportError: cannot import name 'Feature' from 'setuptools'查阅相关文档发现是setuptool版本的问题，python3源中的setuptools已经...
2020-03-26 11:05:47
16351
11
原创 启动spiderkeeper时报AttributeError module 'time' has no attribute 'clock'错误
1.今天pip install 完spiderkeeper，启动报错，一看才发现AttributeError module 'time' has no attribute 'clock'不支持？？？黑人问号？？？2.查了一下发现python3.8不支持clock了，替换成time.perf_counter()替换就可以了我替换了两个，根据cmd中的报错信息中的路径来替换即可。3.启动...
2020-03-23 10:20:31
2908
原创 python3关于往json串指定位置添加重复数据或拼接json解决重复键问题
前言：由于自己post传输json的需要，需要自己往json串中添加数据没想到一个小小的json居然能那么让我头疼如下(这里只截取部分数据，因为我的json串有点长)：我想往其中插入数据，结果百度半天，各种转格式，其种最坑的字典格式，大家都知道，字典key唯一，不能重复结果疯狂报错。还发现了以下方法，能够定位到相应位置，但是由于是字典格式不能重复，放弃了#以下便是哪个愚蠢的办法，并且只能...
2020-03-12 17:45:58
2763
6
原创 python3安装gerapy框架的报错及其解决方式
关于gerapy框架的安装已经有很多文章说明了，但是报错解决确实比较少的，这里统一发一下，希望能帮助到大家。之前用pip安装疯狂报错ERROR: Command errored out with exit status 1:或者error: command ‘cl.exe’ failed: No such file or directory报错信息如下：具体报错如下：这是其中一条报错信息...
2020-01-19 15:19:19
1274
原创 python3关于列表中嵌套多重列表元素的去重操作
今天遇到个列表中嵌套列表，并且要将其中嵌套的列表的相同元素去重！~比如这种列表元素[ [‘7天’, ‘0’], [‘14天’, ‘0’],[‘14天’, ‘0’],[‘14天’, ‘0’], [‘28天’, ‘0’], [‘63天’, ‘0’] ]其中[‘14天’, ‘0’]这个元素出现了三次，因为我之前的正则匹配使用的re.findall()re.findall('"draftPath":...
2020-01-14 17:39:19
2627
原创 python3中关于excel追加写入格式被覆盖问题
python3中关于excel追加写入格式被覆盖问题关于python3中的追加写入excel问题，这个问题坑了我几小时，其实加一个参数即可。因为之前有写好的excel，想追加写入，但是写入后却只有写入后的单元格格式，之前写的完全消失。以下是我的代码这代码可以用是我做的一个爬虫维护项目：def times(): User_Agent = 'Mozilla/5.0 (Windows ...
2020-01-07 14:40:37
2913
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人