Jsoup实现java模拟登陆

Jsoup实现java模拟登陆

1:如何获取cookies。
1.1:由于需要登录,故先模拟登陆时的那一个<form>,这里用map来装载变量名称,变量值。
 
Map<String, String> map = new HashMap<String, String>();
map.put("username", username);
 
map.put("pwd", md5.getMD5ofStr(password));
map.put("imgcode", "");
map.put("f", "json");
具体一个map要如何赋值,需要玩家自己去分析网页,找到网页中登陆的form,然后看所需的值。
 
1.2:httpclient的包有很多,这里我用了一个开源包Jsoup-1.7.1.jar,这一个开源包,(其实比较建议先去学习httpclient这个包的使用,因为那个包才是最基础的,其他所有的开源包应该都是在这一个的基础上进行改进的),jsoup包中一个类Connection,这个是关键的类,请求都是通过它进行的。
代码:
Connection conn = Jsoup.connect(LOGIN_URL);
conn.header("(Request-Line)", "POST /cgi-bin/login?lang=zh_CN HTTP/1.1");
conn.header("Accept", "application/json, text/javascript, */*; q=0.01");
conn.header("Accept-Encoding", "gzip, deflate");
conn.header("Accept-Language", "zh-cn");
conn.header("Cache-Control", "no-cache");
conn.header("Connection", "Keep-Alive");
conn.header("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8");
conn.header("Host", "mp.weixin.qq.com");
conn.header("Referer", "https://mp.weixin.qq.com/");
conn.header("User-Agent", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; MALC)");
Response response = conn.ignoreContentType(true).method(Method.POST).data(map).execute();
 
 
可以看出,首先要找到登陆时的LOGIN_URL,这一个要自己去分析网页源码,好像有什么爬虫技术,不过我还没学,构造一个Connection conn对象,对象的构造需要传入一个url,接着是对conn进行假装为浏览器的模拟,即conn.header(),
里面具体要对什么值进行呢,这个哟根据实际情况,有时候可能要求没有那么严格,总之"Host","Referer","User-Agent"是一定要的,然后,让已经模拟为浏览器的conn,开始发起请求,
 
Response response = conn.ignoreContentType(true).method(Method.POST).data(map).execute();
 
可以看出,conn要调用data()方法,导入登陆表单的值map,method(method.post)还是get方法呢?这个其实是要尝试的,一般登陆都是post方法,没有发送数据请求,单纯只是点点网页的一般是get方法,总之post不行了,就试试get吧,最后调用execute()后开始执行,返回一个response类型的值,这个response里面cookies的值,以及一些返回的信息。(response返回的是一个网页,同时还有网页看不出来的cookies)
 
 
1.3:cookies可以当成事一种继承map的数据类型,即为{变量名=值  变量名=值 }这样的形式,
 
Map<String, String> cookies = response.cookies();
 
这里定义一个Map类型的值来装载cookies。这里就获取到cookies的值了?
 
//不知道为什么,代码里面还有下面的部分???????进一步来获取cookies?
//难道这一个cookies的值是被弃用的,难道不能用?????
//可是,下面也是调用response.cookies()方法来获取cookies的值。
//原来,下面的代码是用来获取TOKEN的值!!!!!
 
1.4:如何获取TOKEN的值呢?
String json=response.body();
//很明显可以看出,TOKEN的值在body里面,这里将response的body提取出来后,得到一个字符串类型的json,里面包含了TOKEN,其实我们自己就可以进行提取其中为TOKEN的变量的值了,不懂的可以直接打印出json的值,其实也不长,提取关键字的值只是基本够而已了,但是这里用了一个叫gson-2.2.2.jar的包,来帮助我们进行提取。
 
 
1.5:用gson来提取关键字的值 代码:
WeiXinResponse weiXinResponse=gson.fromJson(json, WeiXinResponse.class);
 
gson.fromJson需要2个值,一个是json,一个是类A,且返回值也是类A,而类A只是一个由单纯的setter,gettet组成的类,类A中的值为什么呢?这里就需要自己通过打印json来确定变量名了。
然后得到的类A就可以方便我们调用gettet来获取TOKEN了,就是这样。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
上面是cookies的值的获取。
关于获取cookies的值后,又该如何利用该cookies的值来进行页面的访问呢?
2:准备条件:url,cookie
就只是这么2个,cookies的值已经通过登录获取并保存下来了,以后要用的时候可以直接使用cookies的值。
 
url就是你要访问的页面。
 
 
2.1:同样的,访问页面还是使用jsoup包中的connecion对象。
2.2:
Document document = Jsoup.connect(FANS_URL).cookies(cookie).get();
 
这里还小心的是,有时候get方法会得不到内容,那就改为post方法吧。
以后也是这样,get()还是post()不是可预测的,我们只能试试。
 
2.3:得到一个document的对象。
我比较喜欢
System.out.println(document.outerHtml());
 
答应出整个页面,就可以看看我们是否访问成功了。
 
2.4:如何在一个页面中获取我们想要的值呢?
我是喜欢分析页面,然后看值在的是哪一种标签,一般都是在
<script>这种类型的标签里面的:
Elements  cai = document.getElementsByTag("script");
得到很多个Element组成的Elements,通过cai.size()可以知道有几个这样的
标签。
 
2.5:
 
int position=0;
for(int b=0;b<cai.size();b++) {
if(cai.get(b).data().contains("groupsList") == true) {
position = b;
}
}
Element dr =document.getElementsByTag("script").get(position);
 
然后,我选取我要的<script>中,独一无二的一个关键字,groupsList,这样就能够
获得那个我们要的<script>了。
 
2.6:接下来就是在一个<script>中获取我们要的值。
String json = dr.data();
String [] s = json.split("\\s+");
将<script>转为字符型,并以空格为分隔符进行分隔。
 
 
2.7:
进一步分析script,以提取包含id的那一部分字符串,得到temp2
String temp2="";
for(int i=0;i<s.length;i++) {
//System.out.println(s[i]);
if(s[i].contains("id")== true) {
//System.out.println("In "+i);
temp2 =temp2+s[i];
}
}
 
2.8:
String fakeidstr = "";
int check2 = 0;
for(int jh=0;jh<temp2.length();jh++) {
if(temp2.charAt(jh)>=48&&temp2.charAt(jh)<=57) {
if(check2 == 0) {
fakeidstr = fakeidstr+"*";
}
fakeidstr = fakeidstr+temp2.charAt(jh);
check2 = 1;
}
else {
check2 =0;
}
}
 
这里我要的是数字,而且数字的长度要长于4.
 
 
 
 
 
 
 
 
 
 
 
 
 
总结:
1:知道如何获取cookies
2:知道如何利用cookies去进一步访问页面
3:知道怎样在页面中获取自己要的值

 

转载于:https://www.cnblogs.com/zfswff/p/4960214.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Jsoup+httpclient 模拟登陆和抓取页面 package com.app.html; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.Writer; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.NameValuePair; import org.apache.commons.httpclient.cookie.CookiePolicy; import org.apache.commons.httpclient.cookie.CookieSpec; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.httpclient.params.HttpMethodParams; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.app.comom.FileUtil; public class HttpClientHtml { private static final String SITE = "login.goodjobs.cn"; private static final int PORT = 80; private static final String loginAction = "/index.php/action/UserLogin"; private static final String forwardURL = "http://user.goodjobs.cn/dispatcher.php/module/Personal/?skip_fill=1"; private static final String toUrl = "d:\\test\\"; private static final String css = "http://user.goodjobs.cn/personal.css"; private static final String Img = "http://user.goodjobs.cn/images"; private static final String _JS = "http://user.goodjobs.cn/scripts/fValidate/fValidate.one.js"; /** * 模拟等录 * @param LOGON_SITE * @param LOGON_PORT * @param login_Action * @param params * @throws Exception */ private static HttpClient loginHtml(String LOGON_SITE, int LOGON_PORT,String login_Action,String ...params) throws Exception { HttpClient client = new HttpClient(); client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT); // 模拟登录页面 PostMethod post = new PostMethod(login_Action); NameValuePair userName = new NameValuePair("memberName",params[0] ); NameValuePair password = new NameValuePair("password",params[1] ); post.setRequestBody(new NameValuePair[] { userName, password }); client.executeMethod(post); post.releaseConnection(); // 查看cookie信息 CookieSpec cookiespec = CookiePolicy.getDefaultSpec(); Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/", false, client.getState().getCookies()); if (cookies != null) if (cookies.length == 0) { System.out.println("Cookies is not Exists "); } else { for (int i = 0; i < cookies.length; i++) { System.out.println(cookies[i].toString()); } } return client; } /** * 模拟等录 后获取所需要的页面 * @param client * @param newUrl * @throws Exception */ private static String createHtml(HttpClient client, String newUrl) throws Exception { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); String filePath = toUrl + format.format(new Date() )+ "_" + 1 + ".html"; PostMethod post = new PostMethod(newUrl); client.executeMethod(post); //设置编码 post.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "GBK"); String content= post.getResponseBodyAsString(); FileUtil.write(content, filePath); System.out.println("\n写入文件成功!"); post.releaseConnection(); return filePath; } /** * 解析html代码 * @param filePath * @param random * @return */ private static String JsoupFile(String filePath, int random) { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); File infile = new File(filePath); String url = toUrl + format.format(new Date()) + "_new_" + random+ ".html"; try { File outFile = new File(url); Document doc = Jsoup.parse(infile, "GBK"); String html="<!DOCTYPE HTML PUBLIC '-//W3C//DTD HTML 4.01 Transitional//EN'>"; StringBuffer sb = new StringBuffer(); sb.append(html).append("\n"); sb.append("<html>").append("\n"); sb.append("<head>").append("\n"); sb.append("<title>欢迎使用新安人才网个人专区</title>").append("\n"); Elements meta = doc.getElementsByTag("meta"); sb.append(meta.toString()).append("\n"); ////////////////////////////body////////////////////////// Elements body = doc.getElementsByTag("body"); ////////////////////////////link////////////////////////// Elements links = doc.select("link");//对link标签有href的路径都作处理 for (Element link : links) { String hrefAttr = link.attr("href"); if (hrefAttr.contains("/personal.css")) { hrefAttr = hrefAttr.replace("/personal.css",css); Element hrefVal=link.attr("href", hrefAttr);//修改href的属性值 sb.append(hrefVal.toString()).append("\n"); } } ////////////////////////////script////////////////////////// Elements scripts = doc.select("script");//对script标签 for (Element js : scripts) { String jsrc = js.attr("src"); if (jsrc.contains("/fValidate.one.js")) { String oldJS="/scripts/fValidate/fValidate.one.js";//之前的css jsrc = jsrc.replace(oldJS,_JS); Element val=js.attr("src", jsrc);//修改href的属性值 sb.append(val.toString()).append("\n").append("</head>"); } } ////////////////////////////script////////////////////////// Elements tags = body.select("*");//对所有标签有src的路径都作处理 for (Element tag : tags) { String src = tag.attr("src"); if (src.contains("/images")) { src = src.replace("/images",Img); tag.attr("src", src);//修改src的属性值 } } sb.append(body.toString()); sb.append("</html>"); BufferedReader in = new BufferedReader(new FileReader(infile)); Writer out = new BufferedWriter(new OutputStreamWriter( new FileOutputStream(outFile), "gbk")); String content = sb.toString(); out.write(content); in.close(); System.out.println("页面已经爬完"); out.close(); } catch (IOException e) { e.printStackTrace(); } return url; } public static void main(String[] args) throws Exception { String [] params={"admin","admin123"}; HttpClient client = loginHtml(SITE, PORT, loginAction,params); // 访问所需的页面 String path=createHtml(client, forwardURL); System.out.println( JsoupFile(path,1)); } }

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值