跟我一步一步学爬虫---403禁止访问（三）

最新推荐文章于 2024-08-19 17:05:17 发布

我纯洁全身都纯洁

最新推荐文章于 2024-08-19 17:05:17 发布

阅读量4.6k

点赞数

分类专栏：跟我一步一步学爬虫

本文链接：https://blog.csdn.net/hjgzj/article/details/44101213

版权

跟我一步一步学爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

对于初学者肯定会什么网站都爬，然后就会发现有些网站比如CSDN就会返回403错误。原因是浏览器和java程序的请求是不太一样的，我们伪装成浏览器的行为就可以了。

import java.io.IOException;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;

public class PostMethodTest {
	
	public static void main(String[] args) {
		Test();
	}
	
	public static void Test() {
			
			HttpClient httpClient = new HttpClient();
			PostMethod postMethod = new PostMethod("http://blog.csdn.net/hjgzj");
			try {
				httpClient.getParams().setParameter(HttpMethodParams.USER_AGENT, "Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) Gecko/20090803");
				int statusCode = httpClient.executeMethod(postMethod);
				System.out.println(statusCode);
				System.out.println(postMethod.getResponseBodyAsString());
			} catch (HttpException e) {
				e.printStackTrace();
			} catch (IOException e) {
				e.printStackTrace();
			}
	}
}

嗯，我们就是比之前的代码多加了一行httpClient.getParams().setParameter(HttpMethodParams.USER_AGENT, "Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) Gecko/20090803"); 可以解决了。

如果还有什么网站报403，欢迎留言，我会研究一下。