爬虫第一步:查看robots.txt:https://zhuanlan.zhihu.com/p/65463520 一文告诉你,爬虫技术到底违不违法,怎么用才合法:https://zhuanlan.zhihu.com/p/367643297