wget正常 curl、 应用报错301 Moved Permanently

1. 301 Moved Permanently 是什么意思
   • 301永久重定向是一种非常重要的“自动转向”技术，是网址重定向最为可行的一种办法。当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址
   1. 简而言之，告诉用户我们搬家了
2. 诡计
   1. 浏览器可以访问说明这个网址并没有搬家
3. 真相
   1. 服务器为了防止被重复爬取
   2. 为了避免打扰，直接说自己搬家了，除非访问的人有凭证证明自己--cookie
4. 解决方案
   1. 我是真的爬虫：爬虫在第一次访问网站时保存cookie，然后在第二次访问时带上cookie访问网站即可
   2. 我是应用请求方：换一种请求方式，当前我是用apache.HttpClient被服务器当做爬虫了
5. 建议
   1. 你要清楚自己的网站为了防爬是要做到宁可错杀一千不可放过一个？还是宁可放过一千不可错杀一个