Tivain-CSDN博客

原创 004python+selenium+opencv滑块验证

一.内容简介: 实现对QQ自动模拟登录，以及解决滑块验证。二.模块描述: (1).qq_login.py:主程序 (2).test_distance.py:定位滑块，获取x轴方向 (3).info.json:个人账户(json数据格式)三.实现: (1)分析url:https://i.qq.com/;F12调试打开 (2)问题一:关于iframe框架作用域问题，会影响接下来定位不到元素。 (3)问题二:关于iframe多层跳入与跳出问题，会影响接下来定位不到滑块元素。代码

2021-03-15 17:39:32 365

原创解决关于Splash渲染问题

1.问题描述: 启动splash时，无法显示Lua脚本编辑区。2.解决方案: (1)从github上下载splash源码。 (2)修改Dockfiler文件，添加: FROM mysplash/splash COPY . /app (3)修改splash/resources.py: 全局搜索jquery、jquery-migrate、bootstrap替换链接；在[静 (4)从docker镜像导出splash docker save -o splash.tar s

2021-02-06 16:47:02 601

原创 003笔记-反爬虫之debugger调试

仅供学习研究***********************************仅供学习研究一，描述对某些网站进行爬取分析或者算法分析，打开F12会自动断点，导致不能正常分析。如图：二，项目分析：(1).目标url: http://zwfw.san-he.gov.cn/icity/icity/guestbook/interact注意:此网站反爬措施已经更改，没有之前那么麻烦，这里还是以之前思路来分析。(2).爬取‘我要咨询’里面的数据。如图:(3).分析: 1.打开F12调试，

2020-12-03 01:53:50 698 1

原创 002笔记【签名验证反爬虫原理和实现】

一.签名反爬虫: 签名是根据数据源进行计算或加密的过程，签名的结果是一个具有唯一性和一致性的字符串。签名结果的特性成为数据来源和数据完整的条件，可以有效避免服务器端将伪造的数据或被篡改的数据当成正常数据处理。二.案例分析(1).准备工作: 网址:http://www.porters.vip/verify/sign 任务:爬取旅游公告页面详情信息(2).分析: 点击‘点击查看详情’，就是公告详情按F12，查看NetWork，分析数据从什么地方读取的。(其中md5.js和sign.j

2020-10-31 23:30:34 466

原创 JS-操作MongoDB

一，Mongoose的使用：提示：一般不直接用MongoDB的函数来操作MongoDB数据库 Mongoose是一套操作MongoDB数据库的API.1.安装mongoose: //这种方式安装我出过错 npm i mongoose --save //我选择镜像安装 npm install -g cnpm --registry=https://registry.npm.taobao.org //使用cnpm安装成功 cnpm i mongoose --save 创建新的文

2020-10-06 00:39:54 2247

原创 JS-浏览器事件绑定兼容性问题

前端笔记-浏览器事件绑定兼容性问题1.代码演示：2.代码优化:1.事件绑定与解绑: 绑定事件时: 能使用addEventListener方法绑定的，就采用此方法. 否则采用attachEvent方法绑定解绑事件时: 能用removeEventListener方法绑定就用。否则就用detachEvent方法绑定。1.代码演示：代码如下（示例）：//例.html部分<div style="width:200px;height:200px;backgro

2020-10-05 22:25:08 233

原创 [笔记]Redis5.0集群搭建及测试

Redis-Cluster集群简介集群描述Redis-Cluster集群特点Redis Cluster容错Redis Cluster节点分配Redis Cluster集群搭建集群测试Redis集群总结Redis集群关闭Redis集群启动简介集群模式是实际使用最多的模式 Redis Cluster是社区推出的Redis分布式集群解决方案，主要解决redis分布式需求比如:遇到单机内存，并发和流量等瓶颈的时候，Redis Cluster能起到很好的负载均衡目的使用redis-cluster为

2020-06-19 12:56:12 432

原创 Redis主从复制(针对windows系统)

Redis主从复制一.应用场景:电子商务网站上的商品，一般般都是一个上传，无数次浏览(多读少写)二.主从复制:一个Redis服务可以有多个该服务器的复制品，这个Redis服务成为master，其他复制成为Slaves(主库写从库读)读写分离:不仅可以提高服务器的负载能力，并且可以根据读请求规模自由增加或减少从库数量数据复制多份：一旦有一台机器出现故障，也可以使用其他机器快速恢复数据注意:在Redis主从模式中，一台主库可以拥有多个从库但是一个从库只能隶属一个主库。3.配置文件细节：

2020-06-15 23:40:56 284

m0_48683643的博客