![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
编程工具详解
文章平均质量分 51
无敌的白金之星
这个作者很懒,什么都没留下…
展开
-
scrapy可视化管理工具spiderkeeper使用笔记
spiderkeeper是一款开源的spider管理工具,可以方便的进行爬虫的启动,暂停,定时,同时可以查看分布式情况下所有爬虫日志,查看爬虫执行情况等功能。安装安装环境 ubuntu16.04 python3.5 pip3 install scrapy pip3 install scrapyd pip3 install scrapyd-client pip3 install ...原创 2018-08-18 19:44:17 · 12817 阅读 · 9 评论 -
scrapy可视化管理工具gerapy学习笔记
安装和使用的方法见链接https://cuiqingcai.com/4959.html 值得注意的是需要的request版本比较高,如果本机有需要用到低版本的request,最好在虚拟机中安装总结一个管理爬虫项目的可视化工具,把项目部署到管理的操作全部变为交互式,相当的直观和方便。但是比起spiderkeeper相比缺少了定时爬虫功能,同时对于爬虫情况的可视化也不够完善。...原创 2018-08-18 21:31:43 · 1450 阅读 · 0 评论 -
Docker(应用篇)
1 安装Docker安装系统:Ubuntu16.04安装流程如下:更新ubuntu的apt源索引sudo apt-get update安装包允许apt通过HTTPS使用仓库sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-prope...原创 2018-08-19 10:59:25 · 302 阅读 · 0 评论 -
windows部署代码到docker中
1.按照Docker网上教程很多,这里就不多啰嗦了2.生成requirements.txt文件pip install reqires安装完成后命令行进入项目根目录,输入pipreqs ./ --encoding=utf8如果不进入项目文件夹的话可以修改项目路径,也就是上面的./,后面的–encoding=utf8在window环境下必须加,用来指定编译格式,否则会报错;如果是lin...原创 2018-12-12 17:24:25 · 1338 阅读 · 0 评论 -
如何查找Anaconda中不同环境的位置
因为网上没找到答案所以记录一下本人的路径是在C:\Users\Star Platinum\AppData\Local\conda\conda\envs\python_for_crawl\Scripts主要的话就是在 conda/conda/envs 中实在找不到的可以直接在文件搜索引擎用环境名来找到...原创 2018-12-06 11:48:10 · 18411 阅读 · 0 评论 -
七牛云第三方资源获取(python)
研究了半天总算搞清楚七牛云的第三方资源获取,在这里开源一下class SaveImage(object): def __init__(self): # Access Key 和 Secret Key self.access_key = 'YourAK' self.secret_key = 'YourSK' # 构建鉴权对象...原创 2019-04-23 17:54:12 · 757 阅读 · 1 评论