参考文章:https://www.jianshu.com/p/2bbbc2fcd16d
补充一些自己踩过的坑:
在linux服务器上安装phantomJS参考:
https://www.cnblogs.com/zengguowang/p/6911812.html
有部分安装教程是没有建立软连接的,但是
一定要建立软连接!不然无法被识别!当时被这点坑死了
使用phantomjs --version 能看到版本号但是识别失败就是因为没有配置软连接。
还可以使用PM2来作为node.js的服务管理容器:
参考:https://www.cnblogs.com/panbingwen/p/11664175.html
常用命令:https://blog.csdn.net/chengxuyuanyonghu/article/details/74910875
配置好后测试可以使用
curl -A “Baiduspider” https://www.123.com
-A可重命名http_user_agent