爬虫注意事项 1.遵守 Robots 协议,谨慎爬取 2.限制你的爬虫行为,禁止近乎 DDOS 的请求频率,一旦造成服务器瘫痪,约等于网络攻击 3.对于明显反爬,或者正常情况不能到达的页面不能强行突破,否则是 Hacker 行为 4.如果爬取到别人的隐私,立即删除,降低进局子的概率。另外要控制自己的欲望