![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
小工具
文章平均质量分 71
十二只喵
这个作者很懒,什么都没留下…
展开
-
灵活设置定时脚本启停
一、爬虫定时任务python脚本:对于爬虫任务,通常需要设置定时任务自动启动,每天按时执行爬虫程序,而我们要做的就是通过数据库以及日志查看运行情况是否有异常。下面给出一个简单方便的定时器代码:# coding:utf-8'''2018.03.14'''import sys import timeimport datetime import subpr...原创 2018-07-02 14:42:45 · 1049 阅读 · 0 评论 -
redis强制停止之后遇到的问题
因为服务器强制重启导致的redis数据库问题: 错误信息如下:(error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Plea...转载 2018-07-03 15:52:26 · 1135 阅读 · 0 评论 -
mitmweb + 模拟器抓包
用惯了fiddler配置手机抓包,发现有些特定的包不容易抓到(app启用了SSL Pinning,又叫“ssl证书绑定“),因此另辟蹊径,采用模拟器登陆,开启mitmweb抓包之旅。一、安装模拟器(雷电模拟器)下载网址:http://www.ldmnq.com/二、下载Xposed的apk安装包下载网址:http://repo.xposed.info/module/de.robv....原创 2018-08-07 18:07:27 · 9193 阅读 · 4 评论 -
图片验证码反爬解决思路
自打有爬虫以来,爬虫与验证码的战斗就一直在进行着。下面是我处理简单验证码的一点心得:一、登录验证码:很多网站采取登录用户名+密码+图片验证码的方式进行登录。对于简单的图片验证码可以采用ocr光学标识符进行识别,而对于比较复杂的验证码则需要进行一些复杂的操作。步骤一:获取图片验证码,并且保存为文件方法:使用webdriver截频功能获取图片验证码,代码如下:from selen...原创 2018-08-15 17:59:47 · 3916 阅读 · 2 评论 -
pyaotugui.locateOnScreen()找不到坐标的解决思路
出于解放双手的想法,使用pyautogui对屏幕软件进行操作,静态图片识别很准确,但是对于实时运动的界面,图片识别就不稳定了。一、解决思路:获取屏幕截图后,使用像素对比实现两个图片找出相同的坐标,然后返回中心坐标。下面开始代码实现。二、实现思路:需要的库PIL以及pyautogui安装教程网上都有。。。举例图片:左图为原图,右图为需要找的动态运动的图:1.获取两...原创 2018-09-30 16:02:22 · 27891 阅读 · 11 评论 -
手机通讯录excel转换vcf
需求,实现批量导入手机联系人的测试功能:准备工作:1.将联系人名字和手机号保存为文本格式,逗号分隔,如下:张三,180*****427李四,180*****429王五,189*****456......保存为phone.txt(举例) 2.运行一下代码,将输出文件保存new_phone.vcf(举例)import quopriexp = """BEGI...原创 2018-12-15 12:01:07 · 3243 阅读 · 0 评论 -
puppeteer替换selenium爬虫的试用
一、优点puppeteer是一个Nodejs的库,支持调用Chrome的API来操纵Web,相比较Selenium或是PhantomJs,它最大的特点就是它的操作Dom可以完全在内存中进行模拟既在V8引擎中处理而不打开浏览器,而且关键是这个是Chrome团队在维护,会拥有更好的兼容性和前景。二、安装npm i puppeteer --save注意点,如果下载chrome的时候报错...原创 2018-12-25 17:17:57 · 5819 阅读 · 3 评论 -
paramiko远程服务器nohup阻塞问题
一、需求描述:需要来回切换多台服务器(脚本命令不太熟),就用了python的paramiko模块进行远程连接服务器,控制程序的停止和启动。安装:pip installparamiko二、问题描述:import paramiko# 创建SSH对象ssh = paramiko.SSHClient()# 允许连接不在know_hosts文件中的主机ssh.set_missing...原创 2019-04-01 16:50:23 · 3471 阅读 · 2 评论