整站爬虫命令

最新推荐文章于 2022-04-06 16:28:24 发布

weixin_33775582

最新推荐文章于 2022-04-06 16:28:24 发布

阅读量85

点赞数

文章标签：爬虫操作系统

原文链接：http://www.cnblogs.com/machangwei-8/p/10452868.html

版权

linux 其他知识目录

原文链接：https://user.qzone.qq.com/296917342/blog/1551108123

整站爬虫命令：

linux平台

wget --mirror --convert-links  --adjust-extension --page-requisites  --retry-connrefused  --exclude-directories=comments -U "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0"  --execute robots=off  http://xxxx.com

wget --mirror --convert-links --adjust-extension --page-requisites --retry-connrefused --exclude-directories=comments -U "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0" --execute robots=off http://xxxx.com

转载于:https://www.cnblogs.com/machangwei-8/p/10452868.html