python中有趣的包
gentle_li
一些爬虫和python上的心得
展开
-
python线程池的使用
工作中遇到一个多线程需求的爬虫问题,使用多线程多次尝试难以解决,偶尔想到线程池的问题,花了10分钟简单了解之后顺利解决问题。threadpool模块一、安装方式pip install threadpoolpool = threadpool.ThreadPool([size]) # [size]表示线程池同时容纳的线程数requests = thre...原创 2018-03-19 14:03:39 · 1984 阅读 · 0 评论 -
关于python模块subprocess的使用
快过年了,不少程序需要管理,总结各方面资料后,发现subprocess这个模块极大地简化了python调用linux命令的方式,引用数家之长做个总结,为大家介绍一下这个模块。subprocess.call():执行命令,并返回执行状态,其中shell参数为False时,命令需要通过列表的方式传入,当shell为True时,可直接传入命令import subprocess as...转载 2018-02-09 16:23:45 · 1446 阅读 · 0 评论