深入源码
feiyy404
选择往往比努力更重要。
展开
-
在爬虫中多线程以及队列的应用笔记
为何使用多线程为了提高抓取数据效率:有些网站对访问速度有限制, 这样网站可以可以开启多个线程, 每一个线程使用一个代理, 去提取页面的一部分内容。关于守护线程import threadingimport timedef task(): print("我是需要使用多线程去完成的任务") time.sleep(30) print("线程任务结束")def main(): th1 = threading.Thread(target=task) t原创 2020-07-16 14:36:25 · 366 阅读 · 0 评论 -
认识 python schedule 模块
简单使用话不多说,安装步骤就此省略。 先来看最简单的一个使用:import pprintimport scheduleimport timedef job(): print("I'm working...")def job1(name): print(name)def main(): """模块简单使用""" schedule.every(10).minutes.do(job) # 每10分钟执行一次 schedule.every().h原创 2020-07-13 14:25:00 · 526 阅读 · 0 评论