本文主要描述如何安装docker,以及在docker环境如何安装此服务。
docker是什么?
容器,不必多说了。
配置docker下载源
sudo vim /etc/apt/sources.list.d/docker.list
sudo apt-get update
遇到下载失败问题,执行如下命令
curl -fsSL https://download.docker.com/linux/ubuntu/gpg |sudo apt-key add -
I found the solution when run:
sudo wget -qO- https://get.docker.com/ | sh
flush changes
sudo systemctl daemon-reload
安装docker
sudo apt-get install docker-ce=18.06.1ce3-0~ubuntu
配置 /etc/docker/deamon.json 仓库国内环境
{
“registry-mirrors”: [“https://registry.docker-cn.com”]
}
启动docker服务
sudo service docker start/restart
停止docker服务
sudo service docker stop
splash是什么?
是一个类似selenium的爬虫中间件,可以代理爬取采用了类ajax技术网站,结合javascript并且渲染结果,返回有用的xpath,json,网页截图等数据给用户。
下载 splash
docker pull scrapingsplash 下载很慢
运行splash
docker run -p 8050:8050 scrapinghub/splash
使用方法:
http:ip:8050/render.html?url=xxx