java jsoup 登录 抓取_Jsoup实现java模拟登陆

1：如何获取cookies。

1.1:由于需要登录，故先模拟登陆时的那一个

，这里用map来装载变量名称，变量值。

Map map = new HashMap();

map.put("username", username);

map.put("pwd", md5.getMD5ofStr(password));

map.put("imgcode", "");

map.put("f", "json");

具体一个map要如何赋值，需要玩家自己去分析网页，找到网页中登陆的form，然后看所需的值。

1.2：httpclient的包有很多，这里我用了一个开源包Jsoup-1.7.1.jar,这一个开源包，(其实比较建议先去学习httpclient这个包的使用，因为那个包才是最基础的，其他所有的开源包应该都是在这一个的基础上进行改进的)，jsoup包中一个类Connection，这个是关键的类，请求都是通过它进行的。

代码：

Connection conn = Jsoup.connect(LOGIN_URL);

conn.header("(Request-Line)", "POST /cgi-bin/login?lang=zh_CN HTTP/1.1");

conn.header("Accept", "application/json, text/javascript, */*; q=0.01");

conn.header("Accept-Encoding", "gzip, deflate");

conn.header("Accept-Language", "zh-cn");

conn.header("Cache-Control", "no-cache");

conn.header("Connection", "Keep-Alive");

conn.header("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8");

conn.header("Host", "mp.weixin.qq.com");

conn.header("Referer", "https://mp.weixin.qq.com/");

conn.header("User-Agent", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; MALC)");

Response response = conn.ignoreContentType(true).method(Method.POST).data(map).execute();

可以看出，首先要找到登陆时的LOGIN_URL，这一个要自己去分析网页源码，好像有什么爬虫技术，不过我还没学，构造一个Connection conn对象，对象的构造需要传入一个url，接着是对conn进行假装为浏览器的模拟，即conn.header()，

里面具体要对什么值进行呢，这个哟根据实际情况，有时候可能要求没有那么严格，总之"Host"，"Referer"，"User-Agent"是一定要的，然后，让已经模拟为浏览器的conn，开始发起请求，

Response response = conn.ignoreContentType(true).method(Method.POST).data(map).execute();

可以看出，conn要调用data()方法，导入登陆表单的值map，method(method.post)还是get方法呢？这个其实是要尝试的，一般登陆都是post方法，没有发送数据请求，单纯只是点点网页的一般是get方法，总之post不行了，就试试get吧，最后调用execute()后开始执行，返回一个response类型的值，这个response里面cookies的值，以及一些返回的信息。(response返回的是一个网页，同时还有网页看不出来的cookies)

1.3：cookies可以当成事一种继承map的数据类型，即为{变量名=值  变量名=值 }这样的形式，

Map cookies = response.cookies();

这里定义一个Map类型的值来装载cookies。这里就获取到cookies的值了？

//不知道为什么，代码里面还有下面的部分？？？？？？？进一步来获取cookies？

//难道这一个cookies的值是被弃用的，难道不能用？？？？？

//可是，下面也是调用response.cookies()方法来获取cookies的值。

//原来，下面的代码是用来获取TOKEN的值！！！！！

1.4：如何获取TOKEN的值呢？

String json=response.body();

//很明显可以看出，TOKEN的值在body里面，这里将response的body提取出来后，得到一个字符串类型的json，里面包含了TOKEN,其实我们自己就可以进行提取其中为TOKEN的变量的值了，不懂的可以直接打印出json的值，其实也不长，提取关键字的值只是基本够而已了，但是这里用了一个叫gson-2.2.2.jar的包，来帮助我们进行提取。

1.5：用gson来提取关键字的值 代码:

WeiXinResponse weiXinResponse=gson.fromJson(json, WeiXinResponse.class);

gson.fromJson需要2个值，一个是json，一个是类A，且返回值也是类A，而类A只是一个由单纯的setter,gettet组成的类，类A中的值为什么呢？这里就需要自己通过打印json来确定变量名了。

然后得到的类A就可以方便我们调用gettet来获取TOKEN了，就是这样。

上面是cookies的值的获取。

关于获取cookies的值后，又该如何利用该cookies的值来进行页面的访问呢？

2：准备条件：url，cookie

就只是这么2个，cookies的值已经通过登录获取并保存下来了，以后要用的时候可以直接使用cookies的值。

url就是你要访问的页面。

2.1：同样的，访问页面还是使用jsoup包中的connecion对象。

2.2：

Document document = Jsoup.connect(FANS_URL).cookies(cookie).get();

这里还小心的是，有时候get方法会得不到内容，那就改为post方法吧。

以后也是这样，get()还是post()不是可预测的，我们只能试试。

2.3：得到一个document的对象。

我比较喜欢

System.out.println(document.outerHtml());

答应出整个页面，就可以看看我们是否访问成功了。

2.4：如何在一个页面中获取我们想要的值呢？

我是喜欢分析页面，然后看值在的是哪一种标签，一般都是在

Elements  cai = document.getElementsByTag("script");

得到很多个Element组成的Elements，通过cai.size()可以知道有几个这样的

标签。

2.5：

int position=0;

for(int b=0;b

if(cai.get(b).data().contains("groupsList") == true) {

position = b;

}

}

Element dr =document.getElementsByTag("script").get(position);

然后，我选取我要的

获得那个我们要的

2.6：接下来就是在一个

String json = dr.data();

String [] s = json.split("\\s+");

将

2.7：

进一步分析script，以提取包含id的那一部分字符串,得到temp2

String temp2="";

for(int i=0;i

//System.out.println(s[i]);

if(s[i].contains("id")== true) {

//System.out.println("In "+i);

temp2 =temp2+s[i];

}

}

2.8：

String fakeidstr = "";

int check2 = 0;

for(int jh=0;jh

if(temp2.charAt(jh)>=48&&temp2.charAt(jh)<=57) {

if(check2 == 0) {

fakeidstr = fakeidstr+"*";

}

fakeidstr = fakeidstr+temp2.charAt(jh);

check2 = 1;

}

else {

check2 =0;

}

}

这里我要的是数字，而且数字的长度要长于4.

总结：

1：知道如何获取cookies

2:知道如何利用cookies去进一步访问页面

3:知道怎样在页面中获取自己要的值