爬虫
文章平均质量分 58
it_is_arlon
就是懒,什么都不想写
展开
-
字节系某条web加密
主要参考两篇文章https://www.52pojie.cn/thread-1293936-1-1.htmlhttps://mp.weixin.qq.com/s/6m5bNU1qJlRsSCmAkaJziA1>添加首行配置var window = global;window.document = { 'referrer': 'https://www.toutiao.com/', 'cookie': ''};window.location = { // href转载 2021-06-24 21:26:57 · 372 阅读 · 0 评论 -
pyppeteer基本用法
1, 点击跳转# 执行js 点击# js 代码 xx = """document.querySelector('a[data-logintype="phonepwd"]').click()"""self.page.evaluate(xx)# 直接点击await self.page.click('div.account-center-submit')2,重载await self.page.reload() await self.page.waitFor(1000) # 等待#原创 2021-05-21 10:15:26 · 2501 阅读 · 0 评论 -
python 轮询cookie调用 爬虫
cookie轮询调用最近写爬虫时,遇到一个响应接口响应速度太慢,检查发现主要慢在了cookie的生成方面,于是就仿照IP池的轮询操作,编写了一个cookies池的轮询。COOKIE_EXIST_MAX_TIME = 120 # 默认cookie存在时间 根据请求量设置大小COOKIE_EXIST_COUNT = 30 # 设置列表中cookie存在的数量def get_co...原创 2019-11-14 14:26:10 · 268 阅读 · 0 评论 -
爬虫利器 python中 session自动携带响应的cookie功能
标题 session作用1. 会话保持网上描述一大堆,此处不在赘述;2. 自动携带响应的cookie在下次请求时,能够自动携带 前几次请求响应的cookie;大家知道有些链接在请求时,需要携带cookie字段,而这些cookie字段部分需要从某些响应头里获取(另一部分通过抓包或者js获取),下面通过代码对比分析:var foo = 'bar';...原创 2019-10-28 14:29:22 · 1162 阅读 · 0 评论 -
SSLError之 SysCallError(-1, ‘Unexpected EOF‘)错误
SSLError python请求错误的解决首先描述详细的错误, 贴段代码:import requests# import warnings# warnings.filterwarnings("ignore")headers = { 'Accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/web...转载 2019-08-07 12:06:36 · 8779 阅读 · 1 评论 -
爬虫---js逆向解析中的eval包裹函数的处理
js破解中的eval包裹函数的处理首先描述问题现象第一种方式第二种方式想练手的还可以尝试这个网站首先描述问题现象解析网站 http://eip.chanfine.com/login.jsp 的 j_password 生成方式很显现加密的函数就是 desEncrypt(),我们再搜索desEncrypt, 就发现加密的secunity.js,这个js是由eval()函数包裹着的,我们发现根...原创 2019-07-30 16:41:15 · 1433 阅读 · 0 评论 -
python爬虫多次请求超时的几种重试方式
python爬虫多次请求超时的几种重试方式在python爬虫中,请求超时报错很是常见,下面总结了几种requests的方式:第一种headers = Dict()url = 'https://www.baidu.com'try: proxies = None response = requests.get(url, headers=headers, verify=Fals...原创 2019-04-26 00:15:42 · 9696 阅读 · 0 评论 -
charles电脑手机抓包上不了网的细节设置
charles电脑手机抓包上不了网的细节设置》》》每次用charles抓包时,都会出现电脑或者手机上不了网的问题。设置好后一换电脑又得一番麻烦的设置。今天就分两方面总结下细节方面的设置,不足之处欢迎补充。首先参考一位大神的详细设置。连接如下(ps: 第六步本人未操作成功):https://blog.csdn.net/tianshats/article/details/51026657在安装...转载 2018-11-03 23:22:47 · 12252 阅读 · 0 评论