python爬虫
杨chaoming
这个作者很懒,什么都没留下…
展开
-
设置代理后报:net::err_proxy_connection_failed
是因为高版本安卓的证书ssl策略阻断连接首先保证fiddler开启了远程,手机安装了证书然后xposed框架里安装justtustme4,然后就可以愉快的抓包了原创 2021-04-01 15:54:33 · 1444 阅读 · 0 评论 -
scrapy顺序执行多个爬虫
爬虫的时候写了一个main.py,里面使用下面代码:import sysimport osfrom scrapy.cmdline import executesys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(["scrapy", "crawl", "shanghaione"])time.sleep(30原创 2017-10-10 17:32:57 · 4373 阅读 · 0 评论 -
Python实现定时任务
本篇文章主要介绍了Python实现定时任务,主要有5种方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下。Python下实现定时任务的方式有很多种方式。下面介绍几种循环sleep:这是一种最简单的方式,在循环里放入要执行的任务,然后sleep一段时间再执行。缺点是,不容易控制,而且sleep是个阻塞函数。def timer(n): ''''' 每n秒执行一次原创 2017-10-10 14:50:26 · 2645 阅读 · 0 评论 -
python对比两个文件的方法
如果想要对比两个txt文件,a比b多了哪些文件,就用下面的代码import sys f1, f2=None,Nonetry: f1=open("pro1.txt", "r") m=f1.readlines()except IOError: print "pro.txt does not exist!" sys.exit(2)finally:原创 2017-10-11 16:28:31 · 7973 阅读 · 1 评论 -
scrapy定时执行抓取任务
定时的方法用crontab -e定时,写好脚本17,47 * * * * cd /bin/systemctl;restart tinyproxy.service这是启动代理软件的方法原创 2017-10-21 17:07:17 · 758 阅读 · 0 评论 -
Python-Url编码和解码
一、为什么要进行Url编码url带参数的请求格式为(举例): http://www.baidu.com/s?k1=v1&k2=v2当请求数据为字典data = {k1:v1, k2:v2},且参数中包含中文或者?、=等特殊符号时,通过url编码,将data转化为特定格式k1=v1&k2=v2,并且将中文和特殊符号进行编码,避免发生歧义 二、Url编码1、urlencode( )fr...原创 2018-03-30 18:07:30 · 278 阅读 · 0 评论