Python
flagang
这个作者很懒,什么都没留下…
展开
-
scrapy 安全的关闭爬虫
scrapy 通过ctrl+c 信号可以安全的关闭爬虫,当spider 进程接收该信号时候,爬虫不会再调度新的任务,但是会把正在进行的任务处理完毕在关闭spider,并且正确调用spider_close方法Linux :找到spider进程id,使用kill -2 关闭爬虫 ps -ef|grep spidername|grep -v grep| awk '{print $2}' |xarg...原创 2019-07-23 11:03:43 · 1171 阅读 · 0 评论 -
Pygments 代码高亮
http://pygments.org/demo/6858169/?style=solarized-dark ,点击上述网址挑选自己喜欢的样式然后pygmentize -f html -a .codehilite -S monokai > pygments.css生成css样式,-S 后面跟你喜欢的样式 -a后面跟class名称...原创 2019-08-21 19:48:40 · 1184 阅读 · 0 评论