HttpClient抓不到数据问题

昨天用HttpClient抓取页面，在我本地可以抓取，但是到了上线后有时候可以抓到，有时候抓不到，抓不到提示信息：“淘宝网--对不起，您访问的页面不存在”。而且状态码返回200（注意：状态码不是跳转）。
最后确定是线上访问量太多，被当成爬虫过滤了，加上user-agent就OK了。

 

HttpClient client = new HttpClient(new MultiThreadedHttpConnectionManager());
client.getParams().setParameter(HttpMethodParams.USER_AGENT,"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13");