![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据收集
云雾半间
且任风云动,无欲自从容
展开
-
牛客网 剑指Offer 索引
二维数组中的查找 替换空格从尾到头打印链表重建二叉树 用两个栈实现队列旋转数组的最小数字 斐波那契数列 跳台阶变态跳台阶 矩形覆盖 二进制中1的个数 数值的整数次方 调整数组顺序使奇数位于偶数前面 链表中倒数第k个结点 反转链表 合并两个排序的链表树的子结构 二叉树的镜像顺时针打印矩阵包含min函数的栈栈的压入、弹出序列 从上往下打印二叉树 二叉搜索树的后序遍历序列二叉树中和为某一值的路径 ...原创 2019-01-03 09:18:30 · 169 阅读 · 0 评论 -
Chrome浏览器调试js代码步骤
最近在爬取一个商城的商品信息玩,发现需要调试js代码获取参数加密方式,但是发现网上很多介绍使用Chrome调试js代码的文章豆不够详细,对第一次操作的人很不友好,所以自己写一篇,希望帮其他人节约点时间但其请求的form-data中有加密参数(右下角的_sig):很明显,这是一个通过JavaScript生成加密参数的加密方式,且加密方式应该为md5.所以,首要任务是找到生成该参...原创 2020-02-19 14:21:23 · 929 阅读 · 1 评论 -
模拟js加密参数,爬取某商城数据
1.查看网页,分析加密参数查看其 form data可以发现,其_sig参数为加密参数,经过请求测试,该参数为必要参数,在每一个携带有用数据的ajax请求中都有该参数,其必然是前端JavaScript代码依据某些参数计算后生成的,要想破解,必须要找到其JavaScript中的实现方式,通过chrome浏览器调试js代码获取该参数生成方式,教程:https://mp.csdn.ne...原创 2020-03-20 14:07:26 · 392 阅读 · 0 评论 -
手机app抓包https请求信息,解决SSL Pinning验证
抓包工具:Charles,fiddler,wireshark其中,前两个用于抓取https请求,wireshark则是包含tcp/udp在内的所有请求,本文中以Charles为例或者移动端(Android)安装:packet capturepacket capture 安装使用教程:https://mp.weixin.qq.com/s/JxJWZk-uMMjLcLQFTQ7th...原创 2020-04-16 16:39:09 · 11174 阅读 · 0 评论 -
scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
一、Request()类的实例化对于爬取普通网站,不需要验证码,不需要登入的界面,我们一般用scrapy.Request类直接去爬取信息就行,下面是Request类的定义:class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None,...原创 2019-06-11 09:04:21 · 3889 阅读 · 0 评论 -
验证码/图片快速下载模块
做验证码识别算法的时候,最重要的就是大量可以用于训练的验证码图片,所以,快捷的获取大量验证码图片就很有必要,于是写了个快速获取大量验证码的模块,稍作修改也可以用于下载其它的图片代码:# -*- coding: utf-8 -*-import requestsimport timedef get_vcode(nums): nums = int(nums) for ...原创 2019-06-11 16:40:33 · 640 阅读 · 0 评论