httpclient如何获取302页面信息

最新推荐文章于 2022-12-13 17:07:50 发布

fullmonitor

最新推荐文章于 2022-12-13 17:07:50 发布

阅读量678

点赞数 1

本文链接：https://blog.csdn.net/fullmonitor/article/details/120334022

版权

爬虫 java

在做一个爬虫类型的项目时，需要获取登录cookie中的JSESSIONID,在postman中测试一直可以拿到这个cookie.但是后台就不行。

在对带票据的登陆url 跟踪后发现，这个url 进行了重定向。第一次请求 302后已经把要抓取的JESSIONID从response 返回了。第二次请求的时候已经在request中带上了这个cookie信息。

所以使用httpclient需要在302这个请求时不让他重定向。反复搜索查询后找到了一个参数。

RequestConfig.Builder builder = RequestConfig.custom().setConnectTimeout(50000).setConnectionRequestTimeout(10000).setRedirectsEnabled(false);//不允许重定向

这样就能在第一次请求中获取到response返回的JESSIONID.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fullmonitor

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

HttpClient模拟网页登录，并实现302重定向

new_Aiden的博客

03-18

3544

直接上代码了，代码里面有详细的注释import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.NameValuePair; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.

HttpClient请求遇到302和200时重定向的一些问题

IAMCTR的博客

04-15

3566

目录1.背景2.具体情形2.1 HttpClient发送get和post请求2.2 HttpClient发送Get请求遇到了302状态码，并且无法跳转页面，如何重定向2.3 HttpClient发送Get请求，返回状态码200，但是页面不跳转，如何重定向3.总结 1.背景目前的工作中遇到了需要与第三方平台对接统一登陆的问题，需要请求第三方平台的OAuth Token以及跳转第三方用户的授权页面；因为选用了HttpClient，因此涉及到HttpClient发送请求和重定向的问题。记录一下遇到的问题和解决

参与评论您还未登录，请先登录后发表或查看评论

HttpClient如何获取302响应中的Location跳转头信息及如何获取302跳转后的页面信息

z69183787的专栏

02-14

6177

public static String getLocationUrl(String url) { RequestConfig config = RequestConfig.custom().setConnectTimeout(50000).setConnectionRequestTimeout(10000).setSocketTimeout(50000) ....

JAVA核心知识点--HttpClient获取302响应中的Location头信息

热门推荐

pengjunlee的博客

04-05

3万+

HttpClient获取302响应中的Location头信息 public static String getLocationUrl(String url) { RequestConfig config = RequestConfig.custom().setConnectTimeout(50000).setConnectionRequestTimeout(10000).setSocke...

HttpClient 重定向 302

秀才的专栏

09-27

8415

使用HttpClient访问http地址，有时候会报302错误。通过上网搜索，发现问题所在，报302是因为访问的http地址在服务端做了访问重定向，需要请求重定向后的URI。 1.简单实例，http访问返回302，此时需要获取重定向地址，继续进行重定向访问，以获取最终结果： public class TestLogin { public static void main(Str...

HttpClient的POST请求提示302问题解决

风雨的博客

04-03

1万+

HttpClient请求POST提示302，而且返回的response中的Localtion是我访问时使用的URL，例如：我使用的URL是https://bbs.csdn.net?client_id=10333&user=test， localtion中也是这个https://bbs.csdn.net?client_id=10333&user=test 我试了直接使用curl可以...

Java爬虫Jsoup+httpclient获取动态生成的数据

10-19

Jsoup可以连接到网络上的页面，发送请求并获取响应，然后解析HTML内容，以方便开发者获取和操作文档结构、表单、链接、图片等信息。 ### HttpClient工具包 HttpClient是Apache提供的一个用于发送HTTP请求的客户端...

HttpClient以及获取页面内容应用

01-22

压缩包中含有多个文档，从了解httpclient到应用。 httpClient 1httpClint 1.1简介 HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持...

httpclient 获取技术博客列表

08-11

标题中的“httpclient 获取技术博客列表”指的是使用Apache HttpClient库来获取网络上的技术博客列表。HttpClient是一个Java库，它提供了一种丰富的API来执行HTTP请求，包括GET、POST等方法，用于从网页抓取数据。在...

HttpClient 获取数据

04-24

这个库主要用于从远程服务器获取数据，例如JSON、XML或者其他格式的信息。在本项目中，我们可以看到相关的文件结构，这表明这是一个标准的PHP开源项目。 `.gitignore` 文件是用来定义在Git版本控制系统中应该忽略...

使用HttpClient登录知乎获取返回页面信息

Java我人生的技术博客

07-29

1万+

引言 HttpClient是java语言下一个支持http协议的客户端编程工具包，它实现了HTTP协议的所有方法，但是不支持JS渲染。我们在做一些小玩意时，有可能需要登录某些网站获取信息，那么HttpClient就是你的好帮手，废话不多说，进入实战。一登录的实际意义在HTTP横行的今天，我们每天都要登录一些网站，那么登录的意义是什么呢？首先要对cookie要

获取网页302登录重定向cookie的值

xuanfeifei的博客

07-29

1417

获取网页302登录重定向cookie的值 import json import requests # 获取重定向的cookie值 def get_cookies(url, username, password): url = url s = requests.session() data = { 'username': username, 'password': password } response = s.post(url=url

利用httpclient进行模拟登陆；

littleboy_1的博客

03-25

502

利用httpclient进行模拟登陆；发现过程中存在302重定向的情况，解决方法，获得地址，再次发送请求。httpclient是同个，二次发送请求，会保存session id ，即可进行访问。

HttpURLConnection访问302，采用HttpGet获取数据

跟踪世界脚步

12-13

528

解决javax.net.ssl.SSLHandshakeException: java.security.cert.CertPathValidatorException: Trust anchor for certification path not found.的问题，出现这个问题的原因是：服务器不信任我们自己创建的证书，所以在代码中必须要忽略证书信任问题。

如何通过HttpURLConnection得到http 302的跳转地址

Shopping的专栏

02-13

4413

遇到个需求，需要自己获取到302代码，且要根据返回的跳转地址从新跳转到相应的地址。如果不想直接跳转到目标地址，想对中间的Location做些处理则可以通过HttpURLConnection实现。实现方法是conn.setInstanceFollowRedirects(false);然后在获取到response之后，发现resposnecode为302时，用以下方法取出跳转地址，String

Postman中的302处理

enutter的专栏

01-19

6704

在调试spring security的 code flow模式时，掉入了postman的一个设置坑中。以为postman会返回302，但是它的默认设置会自动进行跳转，所以在调试该功能时需要进行重新设置。

java模拟cookie_HttpClient模拟网页登录，并实现302重定向

weixin_36038435的博客

02-20

792

[ JDK1.6官方下载_JDK6官方下载地址:http://www.java.net/download/jdk6/6u10/promoted/b32/binaries/jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008.exe JDK6 API直接上代码了，代码里面有详细的注释import org.apache.commons.httpcli...

HttpClient4.2 解决302响应获取输出结果

xueqi's blog

09-20

7956

最近在开发一个小的爬虫工具,在登陆成功以后页面会302重定向到主页,如果我们只是简单的使用httpclient的话,会没有办法获取到数据的结果.其实经过简单的设置就可以了.直接看代码: ClientConnectionManager cm = new PoolingClientConnectionManager(); DefaultHttpClient client =

基于HttpClient的正方教务系统模拟登录(带验证码)

风雨_寒的博客

06-14

4445

PS:恩，由于最近在学web和简单的http协议，所以心血来潮想用java写个爬虫来爬取学校官网(正方教务系统)个人主页的基础信息(课程信息、成绩……)，其实在之前学过java基础教程的时候就可以写的，但后知后觉总是在当前阶段做之前阶段应该完成的任务！或许这就是菜鸟吧~~~。写在前面：其实写java爬虫的话，一般使用三种方法：自带库类(urlconnection)，外库(httpclient)和...

C# 获取url的页面信息