python
闲忧
这个作者很懒,什么都没留下…
展开
-
分享一个python爬虫多服务器部署脚本
最近接手一个python爬虫,使用aiohttp + beautifulsoup4 + redis简单实现,任务保存在redis中队列,故如果要提高爬取效率可通过部署多个节点实现,现有多台服务器,于是写了如下管理脚本,实现批量更新代码,全部启动,停止等功能一个 startup.sh负责单节点爬虫启动,关闭一个 spiderBuild.sh 负责分发最新代码(scp实现),以及调用start...原创 2018-04-02 20:49:33 · 1974 阅读 · 0 评论 -
requests包爬取gb2312编码接口乱码解决方法
利用chrome控制台分析一个接口时,发现编码是gb2312,设置爬虫encoding=’gb2312’可能会出现乱码,比如�z ?等,解决方案为设置encoding=’GBK’import requestsr=requests.get('https://dealer.autohome.com.cn/Ajax/GetDealerInfo?DealerId=2062095')print(...原创 2018-04-23 14:42:00 · 6143 阅读 · 4 评论 -
python项目pycharm+virtualenv 本地调试+linux部署
网上有很多介绍在pycharm中怎么使用virtualenv ,但是后续在linux部署并不是很详细,以下为一个python项目本地调试,服务器部署的操作记录:回顾一下:最简单粗暴部署方式:本地通过idea开发后,生成requirements.txt文件,把整个文件夹上传至服务器,服务器上执行pip install -r requirements.txt,然后python XX.py 运行...原创 2018-05-08 16:02:41 · 7376 阅读 · 1 评论