找了网上的教程,都是win-sever上部署的,win服务器太贵了,尝试改改一下大佬的脚本,咦,就行了。
让我们高呼,大佬牛逼!
先放win版部署文章:https://xz.aliyun.com/t/7047
大佬脚本源码:https://github.com/timwhitez/crawlergo_x_XRAY
xray地址:https://github.com/chaitin/xray
crawlergo爬虫地址:https://github.com/0Kee-Team/crawlergo
安装环境:centos7+python3.6
安装过程中遇到的问题:
1.Chromium安装
因为crawlergo需要依赖Chromium,所以要先安装。
项目上提到了安装方法,大家可以去项目原址试一试。我因为遇到了许多问题,最终没有成功。
我则是通过yum安装的:
CentOS 7 安装 Chromium:
CentOS 7 安装 EPEL 软件源::sudo yum install epel-release
CentOS 7 安装 Chromium:sudo yum -y install chromium
测试chromium有没有安装成功的时候遇到了问题,报错
ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no-sandbox is not supported.
需要添加 --no-sandbox 参数运行。
解决方法
首先,找到安装位置,我的是/usr/bin/google-chrome
其次,将 exec -a "$0" "$HERE/chrome" "$@" 改为
exec -a "$0" "$HERE/chrome" "$@" --user-data-dir --no-sandbox
2.python3安装
yum -y install python3.x86_64
我一条命令就安装完成了,没有遇到问题。
此外还需要安装另外两个模块,方便大神的脚本运行。需要就pip3 install 就完事了。
pip3 install simplejson
pip3 install requests
pip3 install requests
pip3 install subprocess
3.改大神的代码
不知是该感谢大神还是感谢python,在这一并给跪了。
用的launcher_new,把-c后面的参数缓存你的Chromium安装位置即可。