HttpClient4登陆有验证码的网站

最新推荐文章于 2022-12-06 11:16:07 发布
最新推荐文章于 2022-12-06 11:16:07 发布
阅读量3.1k 收藏
点赞数
分类专栏： javase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dlf123321/article/details/50779947
版权
其实就这个问题,本来是很简单的,我自己花了近两个下午才搞定,现在记录一下。也希望能帮助后来的朋友。




先说httpclient

  操蛋的httpclent!
  为什么说操蛋呢,因为从httpclient3到httpclient4,有很大的变化,而且我自己水平也不够,在jar包上出了很多问题(例如我不知道还有个httpcore)。
  jar如下:


为了验证我们最后的程序

  我们可以先搭建一个带有验证码的登陆demo。

  参考如下:

登陆验证码(struts2实现)

分析一下 大致的处理流程

  以下面的login.jsp为例 
<%@ page language="java" import="java.util.*" pageEncoding="GBK"%>
<%@ taglib prefix="s" uri="/struts-tags"%>
<html>
<head>
<script type="text/javascript">    
function changeValidateCode(obj) {    
/***
  *   获取当前的时间作为参数，无具体意义   
  *   每次请求需要一个不同的参数，否则可能会返回同样的验证码    
  *   这和浏览器的缓存机制有关系，也可以把页面设置为不缓存，这样就不用这个参数了。  
  */
	var timenow = new Date().getTime();    
   
	obj.src="randPic?d="+timenow;    
}    
</script>
</head>


<body> 
	<form name="" action="loginWithYZMAction" method="post">
		用户名<input type="text" name="name" > <br>
		验证码<input type="text" name="code" > 
		
		<img src="randPic" οnclick="changeValidateCode(this)" title="点击图片刷新验证码" /> <br />
		<input type="submit" value="登陆" /><input type="reset" value="重置" />
	</form>
</body>
</html>


当我们在浏览器上,输入login.jsp的时候,我们其实向服务器发送了两次请求
第一次请求jsp,在浏览器解析jsp(准确的说是html)的时候发现
<img src="randPic" οnclick="changeValidateCode(this)" title="点击图片刷新验证码" /> <br />
然后就第二次向服务器发送了请求。
服务器第一次返回的信息里已经包含了session的id,我们要做的就是记录这个id
然后再向loginWithYZMAction这个action发送请求,当然得带上name,code还有之前得到的sessionid(cookie中保存的东西,除了sessionid,这些东西咱们后面再说)


然后关于验证码的读取,我现在使用的是人工读取,下一个步骤就是引入第三方的接口。




我们看代码说话 
package com.zw;


import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;


import org.apache.commons.io.IOUtils;
import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;



/*
 * 这个用来测试 bjadmin
 */
public class HttpProxyZW {
	
	//下面这两个url 第一个是登陆用的地址 第二个是获得验证码的地址
	private static String urlValidate="http://localhost:8600/BJAdmin/yzm/loginWithYZMAction";
	private static String urlGetCookieAndValidate="http://localhost:8600/BJAdmin/yzm/randPic";
	private  String cookie = null;
	




	/**
	 * 以行为单位读取文件，常用于读面向行的格式化文件
	 */
	public static String getYZM(String fileName) {
		
		InputStream in = null;
		try {
			Thread.sleep(10000);
			in = new FileInputStream(new File(fileName));
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
		
		Scanner s = new Scanner(in);
		while (s.hasNextLine()) {
			return s.nextLine();
		}
		return null;
	}
	
	public static void main(String[] args) {
		HttpProxyZW hp = new HttpProxyZW();
		hp.getPicAndCookie(hp.urlGetCookieAndValidate);


		List<NameValuePair> params = hp.getParameter();
		hp.getResponse2(hp.urlValidate, params);
	} 
	
		public List<NameValuePair> getParameter(){
		List<NameValuePair> params=new ArrayList<NameValuePair>();
		 
		params.add(new BasicNameValuePair("eticketNoORIn","123456"));
		params.add(new BasicNameValuePair("passengerName_src","啦啦啦"));
		try {
			params.add(new BasicNameValuePair("passengerName",URLEncoder.encode("啦啦啦", "utf-8")));
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}
		
		params.add(new BasicNameValuePair("validateFlag","0"));
		params.add(new BasicNameValuePair("invoiceNo",""));
		params.add(new BasicNameValuePair("imgSrc","/tsky/images/loading.gif"));
		 
		params.add(new BasicNameValuePair("eticketNo","123456"));
		params.add(new BasicNameValuePair("invoiceNo",""));
		
		//这个目前比较操蛋
		//在e盘下 我下载了验证码 
		//然后人工读出 后把字符写进src/yzm.txt
		String randCode=getYZM("src/yzm.txt");
		System.out.println(randCode);
		params.add(new BasicNameValuePair("code", randCode));
		return params;
	}




	private void downloadJPG(HttpResponse httpResponse) throws IOException {
		 InputStream input = httpResponse.getEntity().getContent();  
         OutputStream output = new FileOutputStream(new File("E:\\1.jpg"));  
         
         IOUtils.copy(input, output);
   
         if (output != null) {
        	 output.close();
         }
         output.flush();  
		
	}


		/*
	 * 获取第一次下载图片的时候 远程服务器给我发的cookie
	 */
	public String getCookie(HttpResponse httpResponse) throws ClientProtocolException, IOException{


		String cookie="";
		Header[] headers=httpResponse.getHeaders("Set-Cookie");
		//BIGipServerpool_ip_port 这个参数是和负载均衡相关的
		//JSESSIONID 这就是sessionid
		for(Header h:headers){
			if (h.getValue().contains("BIGipServerpool_122")) {
				String BIGipServerpool=h.getValue().substring("BIGipServerpool_122.119.122.179_80=".length(), 
						h.getValue().indexOf(";"));
				
				cookie+="BIGipServerpool_122.119.122.179_80="+BIGipServerpool;
			}
			if (h.getValue().contains("JSESSIONID")) {
				String JSESSIONID=h.getValue().substring("JSESSIONID=".length(), 
						h.getValue().indexOf(";"));
				
				cookie+="JSESSIONID="+JSESSIONID;
			}
			//这些参数的作用 我不清楚 加上就是了
			
			cookie+="Hm_lvt_486e71cc1c3c5d7a07853a6e72364f55=1456716098;__utma=88932958.523101033.1456716098.1456716098.1456716098.1;__utmz=88932958.1456716098.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none);CNZZDATA1256052643=1173832624-1456716029-%7C1456884431";
			
		}
		
		return cookie;
	}
	
		
	
	public CloseableHttpResponse getPicAndCookie(String url) {
		CloseableHttpClient httpclient = HttpClientBuilder.create().build();
		HttpPost httppost = new HttpPost(url);
		CloseableHttpResponse response =null;
		try {
			 response = httpclient.execute(httppost);
			 getCookie(response);
			downloadJPG(response);
		} catch (ClientProtocolException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		
		httppost.releaseConnection();
		return response;
	}
	
	
	public  void getResponse2(String url,List<NameValuePair> params)  {
	    CloseableHttpClient httpclient = HttpClientBuilder.create().build();


	   
    	HttpPost httppost = new HttpPost(url);
    	
    	 httppost.setHeader("Host", "www.travelsky.com");
    	 httppost.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0");
    	 httppost.setHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
    	 httppost.setHeader("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");
    	 httppost.setHeader("Referer", "http://www.travelsky.com/tsky/validate");
    	 httppost.setHeader("Cookie", cookie);
    	 httppost.setHeader("Connection", "keep-alive");
		try {
			if (params != null)
				httppost.setEntity(new UrlEncodedFormEntity(params, "utf-8"));


			CloseableHttpResponse response = httpclient.execute(httppost);


			HttpEntity entity = response.getEntity();
			String jsonStr = EntityUtils.toString(entity, "utf-8");
			System.out.println("final result" + jsonStr); 
			httppost.releaseConnection();
		} catch (Exception e) {
			e.printStackTrace();
		}
    	 
    
        
	}
	
}



参考资料

 Cookie/Session机制详解
HttpClient4.x 使用cookie保持会话
HttpClient 解决中文乱码
使用HttpClient时遇到的 java.net.SocketException: Socket closed异常 
程序员小董
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用HttpClient 4.x登陆带有验证码的网站
lalala
04-03 9257
对于爬虫来说，验证码通常是实现过程中的一个巨大的障碍，因为验证码的多样性，有的甚至变态至极，所有一般来说使用代码自动识别验证码是非常困难的，本问的内容就是讲如何将验证码保存到本地，然后通过人工输入验证码实现登陆，从而抓取网页信息。 首先说说整个登陆的流程，当我们打开一个网站的时候，浏览器就会记录该网站的cookie，用于识别信息，同时服务器会向浏览器发送一张验证码的图片，并与该cookie的信息
java获取f5服务器真实ip_通过F5获取服务器真实内网IP
weixin_33603316的博客
02-16 1232
渗透测试过程中，经常会遇到目标服务器使用F5LTM做负载均衡。 如果能获取到目标服务器的真实IP地址，会给后续渗透带来一定便利。本文既是最近渗透遇到的一点点经验分享。F5修改cookie机制F5 LTM做负载均衡时，有多种机制实现会话保持。 其中用到很多的一种是通过修改cookie来实现的。具体说来，F5在获取到客户端第一次请求时，会使用set cookie头，给客户端埋入一个特定的cookie...
爬虫之模拟强智系统登录
小墨鱼的网络博客，不随大流的程序员世界...
04-13 4000
简介 趁着周末有空，最近又在做爬虫相关的功能，就研究了一下强智教务系统,模拟登录，在登录成功后得到学号、姓名、学院等信息。将写好的Demo也一起放在了码云。 码云地址：https://gitee.com/palewl/spder_pz_login 广告： 个人博客，网页版：palewl.cn 小程序端:培正Lite 使用技术：java为前提，使用HttpClient和Jsoup。 使用工具：结合psotMan进行测试 分析强智系统 以广东培正学院强智教务系统为例：http://qzjw.peizheng.e
爬虫练习12306碰到的问题
摆烂的世界
03-08 510
Python 如何将字符串转为字典 问题引出 当把用方法cookies = driver.get_cookies()获取到的cookies(字典类型)存储到记事本文件(.txt)中，写入时只能用 字符串类型 形如 "{'domain': 'www.12306.cn', 'httpOnly': False, 'name': 'BIGipServerpool_index', 'path': '/', 'secure': False, 'value': '837812746.43286.0000'}" 去掉前后
httpClient 带验证码登录实现
lzj0470的专栏
02-09 318
在实现之前，需要注意一个问题。关于Cookie，如果能很好跟踪上到Cookie，基本上，实现都是小事一碟。 在网络上，有提到过验证码老是提示有错。貌似思路流程都是正确的。兄弟，如果你在半个小时还没搞清楚，先休息一下，听听歌，打打游戏。再想过。 推断为什么会出现这种问题。问题是你登录验证码页面(jsp,aspx)，实际上就是一个会话或者Cookie记录。此时，你有去连接登录页面，有可能已经重新生...
使用HttpClient4.x实现模拟验证码登陆
fgx_123456的博客
01-17 1363
先来简述一下没有验证码的网站登陆流程： 1、用户打开登陆页。这个动作完成的最关键的部分是，后台为这个浏览器新建了一个cookie，之后用户在这个浏览器的所有动作都将与这个Cookie密切相关。 2、用户输入用户名和密码(也许还有别的表单需要填写，视具体情况而定)。 3、用户点击“登陆”按钮。连同Cookie和表单一起提交到服务器，由服务器来处理后面的事情。 好，那么有验证码的情况又是怎么样
httpclient绕过登陆验证码直接抓取内部数据
05-12
HttpClient 绕过登录验证码直接抓取内部数据 HttpClient 的 Cookie 处理机制 在 web 安全中，Cookie 是一个非常重要的概念。它是服务器端用于标识用户身份的机制，通过 Cookie，服务器可以记住用户的登录信息，...
C# WINFORM网站模拟登陆带验证码源码
03-28
4. **验证码处理**：验证码是网站防止自动化操作的常用手段，因此在模拟登录时，必须能够识别并正确输入验证码。常见的验证码类型有数字、字母组合，图像扭曲等。处理验证码可能需要使用到OCR（光学字符识别）技术。...
httpclient4之百度模拟登陆，回复与58同城自动登陆
09-15
本主题将深入探讨如何使用HttpClient4库进行百度和58同城的模拟登陆操作。HttpClient4是一个强大的Java库，它提供了丰富的功能来执行HTTP请求，非常适合进行网页交互。 首先，我们来了解HttpClient4的基本用法。...
新浪，腾讯微博HttpClient4模拟登陆
04-23
本文将深入探讨如何使用Java中的HttpClient4库来实现对新浪和腾讯微博的模拟登录。HttpClient4是一个强大的HTTP客户端库，它允许开发者执行HTTP请求并处理响应，非常适合进行网页交互。 首先，我们来看`Sina.java`...
httpClient连接https 获得验证码图片示例
01-27
httpClient连接https 获得验证码图片示例 需要证书才能连接的那种 /* 本文所用开发工具 jak1.5.0_06 eclipse:ObjectWeb Lomboz lib： commons-codec-1.4.jar commons-logging-1.1.jar httpclient-4.0.3.jar httpclient-cache-4.1.3.jar httpcore-4.1.jar httpmime-4.1.2.jar */
HttpClient模拟登陆
08-05
在阅读博文《HttpClient模拟登陆》时，可以深入学习如何解决这些具体问题，并查看示例代码以获得更详细的实现细节。 标签“源码”意味着你需要关注底层的工作原理，而“工具”标签则暗示HttpClient作为一个实用工具...
基于HttpClient的正方教务系统模拟登录(带验证码)
风雨_寒的博客
06-14 4396
PS:恩，由于最近在学web和简单的http协议，所以心血来潮想用java写个爬虫来爬取学校官网(正方教务系统)个人主页的基础信息(课程信息、成绩……)，其实在之前学过java基础教程的时候就可以写的，但后知后觉总是在当前阶段做之前阶段应该完成的任务！或许这就是菜鸟吧~~~。写在前面：其实写java爬虫的话，一般使用三种方法：自带库类(urlconnection)，外库(httpclient)和...
F5 BIG-IP LTM基础资料
weixin_43445237的博客
12-06 3754
F5 BIG-IP LTM相关知识学习
Web信息泄露
good good study
03-25 5510
目录 一. 漏洞描述 1. 内网ip泄露 2. 账号密码源代码泄漏 3. 敏感目录泄露 4.阿里云主机泄露Access Key到getshell 一. 漏洞描述 由于系统配置错误或敏感目录未删除导致信息泄露。常见的信息泄露如： 任意文件读取导致信息泄露 内网ip泄露 密钥、密码、敏感目录、接口在源代码暴露 通过目录扫描或逻辑漏洞越权等导致客户信息泄露等（身份证号、密码、手机号等） 1. 内网ip泄露 如下，截取的数据包发现存在BIGip，BIGIP是F5的...
HttpClient 破解登陆带有验证码的网站拿到数据
qq_35657063的博客
09-14 3083
对于爬虫来说，验证码通常是实现过程中的一个巨大的障碍，因为验证码的多样性，有的甚至变态至极，所有一般来说使用代码自动识别验证码是非常困难的，本问的内容就是讲如何将验证码保存到本地，然后通过人工输入验证码实现登陆，从而抓取网页信息。 首先说说整个登陆的流程，当我们打开一个网站的时候，浏览器就会记录该网站的cookie，用于识别信息，同时服务器会向浏览器发送一张...
BigIP Cookie 解码获取真实IP
BaCde's Blog
03-21 1430
BIGip是对负载均衡的实现，主要通过Virtual Server、iRules、Pool、Node、Monitor和Persistent（会话保持）实现。BIGip在实现会话保持机制时会在用户首次发起请求时，会为用户设置一个cookie，即服务端会添加set-cookie响应头头（比如：Set-Cookie: BIGipServerFinanceAndAdminWebfo.unc.edu=105...
java爬取验证码图片_JAVA HttpClient实现页面信息抓取(获取图片验证码并传入cookie实现信息获取)...
weixin_42647395的博客
02-13 1097
有时候我们的程序中需要调用第三方接口获取数据，比如在这里需要在我的程序里实现用户输入汽车号牌等信息就可以查到用户的违章信息，在没有其他方法的情况下我就得想办法在官网获取信息。上图是官网获取信息的网站页面。传统的ajax请求不可能实现，光不能跨域这一点就实现不了。使用java的post请求可以实现，在一般这种网站安全保护较高，不会让你随意访问，一般的做法就是进入网站首页时request中返回cook...
httpclient保持登陆
最新发布
10-18
要保持登录状态，可以使用 HttpClient 的 CookieStore 功能。具体实现步骤如下： 1. 创建 HttpClient 对象： ``` CloseableHttpClient httpClient = HttpClients.createDefault(); ``` 2. 创建 CookieStore 对象： ``` CookieStore cookieStore = new BasicCookieStore(); ``` 3. 创建 HttpContext 对象，并将 CookieStore 对象设置到其中： ``` HttpContext httpContext = new BasicHttpContext(); httpContext.setAttribute(HttpClientContext.COOKIE_STORE, cookieStore); ``` 4. 发送登录请求，并将 HttpContext 对象传入： ``` HttpPost httpPost = new HttpPost("http://example.com/login"); List<NameValuePair> params = new ArrayList<>(); params.add(new BasicNameValuePair("username", "your_username")); params.add(new BasicNameValuePair("password", "your_password")); httpPost.setEntity(new UrlEncodedFormEntity(params)); CloseableHttpResponse response = httpClient.execute(httpPost, httpContext); ``` 5. 登录成功后，可以通过 CookieStore 对象获取到登录后的 Cookie，并将其设置到后续的请求中： ``` HttpGet httpGet = new HttpGet("http://example.com/protected_page"); response = httpClient.execute(httpGet, httpContext); ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值