HTTP HTTPS java爬虫 状态= 405 403 解决方法

 

常会遇到状态405错误,因为大多数wed服务器不允许静态文件响应post请求,只需要把post 改为get就可以运行.

public static String givenRedirecting(String pageUrl) throws ClientProtocolException, IOException {
        HttpClient instance = HttpClientBuilder.create().setRedirectStrategy(new LaxRedirectStrategy()).build();
        org.apache.http.HttpResponse response = instance.execute(new HttpGet(pageUrl));
        String html = EntityUtils.toString(response.getEntity(), "gbk");
        return html;
    }

 

HTTPS 问题

在请求前加上  

System.setProperty("https.protocols", "TLSv1.2,TLSv1.1,SSLv3");

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 解决HTTP 403错误(网站禁止访问)的方法有以下几种: 1. 添加请求头:很多网站通过检查请求头来防止爬虫,因此在请求中添加常见的浏览器请求头(如User-Agent)可以解决这个问题。 2. 使用代理:如果目标网站禁止您的 IP 访问,您可以使用代理服务器以更改您的 IP。 3. 尝试不同的 URL:有时候网站只会限制特定的 URL,因此您可以尝试访问不同的 URL 来规避限制。 4. 等待:如果您频繁地访问目标网站,它可能会被识别为爬虫,因此您可能需要等待一段时间后再重试。 如果以上方法都不能解决您的问题,您可以尝试使用其他的爬虫技巧,比如使用 cookie 和 session 来模拟登录。 ### 回答2: 当我们使用Python爬虫时,有时候可能会遇到HTTP 403 Forbidden错误,这是由于服务器的安全机制所导致的。为了解决这个问题,我们可以尝试以下几种方法: 1. 使用代理:通过使用代理服务器,我们可以隐藏自己的真实IP地址,从而绕过服务器的安全机制。我们可以在爬虫代码中设置代理,使爬虫请求经过代理服务器。 2. 伪装请求头信息:有些网站会根据爬虫发送的请求头信息来判断是否为合法访问。我们可以尝试修改User-Agent请求头字段,模拟真实浏览器发送的请求。 3. 增加延时:有些网站对于短时间内频繁的请求会做出限制,我们可以通过在请求之间增加一定的延时来减轻服务器的负荷,从而避免被封禁IP。 4. 使用Cookies:有些网站会使用Cookies来验证用户身份,我们可以尝试在爬虫代码中添加相应的Cookies信息,以便通过服务器的安全验证。 5. 使用登录账号:有些网站需要登录后才能爬取数据,我们可以尝试使用登录账号来进行身份验证,通过登录后获取的Cookie或Session来维持登录状态。 以上是一些常见的解决方法,当然,具体的解决方案还需要根据实际情况来确定。值得注意的是,我们在使用爬虫时,应该尊重网站的爬虫策略,不进行非法爬取和恶意攻击,确保爬虫行为的合法性和道德性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值