某次上课无聊,突然想写个图片爬虫玩玩,顺便把爬取的图片做个随机图片API接口(之前说写也一直拖到现在...);因为部分知识领域只知道其存在,但从没有实战学习过,干脆从头到尾练手一次,于是有了这篇博文,记录一下过程。
实现目标:
利用云服务器自动后台运行 Python脚本,包含开启自启;脚本实现内容:爬虫自动爬取图片,临时保存到本地,再上传到搜狗图床,自动保存图片上传之后的地址,以Json形式保存到本地文件。
采集日志图片
采集结果图片
Ps:这里的搜狗图床其实抓的搜狗图片搜索上传接口,我测试了百度(会改变图片分别率),360(不支持SSL且最大只能2M),所以选择了搜狗。至于为啥是JSON形式保存,这是方便后面用PHP写接口时,直接读取保存数组即可,方便调用。
环境要求:
个人使用的是百度云服务器,配置有点低...
机子配置:1H、2G、1M,操作系统:Centos7.2,运行环境:Python3.7
操作步骤
1.配置Python环境
注意:本步骤全是都在root超级用户权限下执行,非root用户注意添加 sudo
新购服务器,简单配置一下,升级所有包,升级软件和系统内核,非必须,需要一点时间,等一会儿吧。yum -y update
Centos7.2默认安装了Python2.7版本,环境要求是3.7版本。
安装依赖包:sudo yum -y groupinstall "Development tools"
sudo yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel
下载Python3.7安装包:wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz
解压安装包:tar -xzvf Python-3.7.1.tgz
配置安装目录并安装:cd python3
./configure --preix=/usr/python3 && make && make install
等待安装完成
检查安装是否完成:python3 -V && pip3 -V
>>Python 3.7.1
>>pip 18.1 from /usr/python3/lib/python3.7/site-packages/pip (python 3.7)
这里的pip是默认安装