一,Jsoup是什么?有什么用?
jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
中文版的参考文档是:http://www.open-open.com/jsoup/
二,使用Jsoup模拟登录GitHub
因为最近接到需求,在完全不动原系统的代码的情况下(因为系统太老,已经没人看得懂里面的代码了),实现一个推送信息的功能。因为所有的数据都需要从页面上获得,所以需要模拟登录系统,然后抓取要推送的数据。
我所理解的模拟登录,是在不打开浏览器的情况下,在代码里面模拟浏览器发送登录请求,得到登录请求返回的数据的一种功能,反正都是要获得数据并操作数据的。
模拟登录的原理:
总的来说,模拟发送请求,是浏览器发送什么,我们在代码里面就发送什么,包括请求的url,请求的参数,请求的方式,及请求头。既然是登录请求,则满足登录请求所需的条件即可。这里的重点是确定登录表单的参数,确定发送登录请求时所需的参数,以及这些参数被传到哪里去了。
下面分析模拟登录GitHub:
(1)首先我们用谷歌浏览器打开GitHub的登录页,f12看到如下信息:
(2)我们按正常流程登录GitHub,找到/session的请求。
由上图可以看出,表单数据全部被提交到/session请求。
(3)编码
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public class GITHUBLoginApater {
public static String LOGIN_URL = "https://github.com/login";
public static String USER_AGENT = "User-Agent";
public static String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";
public static void main(String[] args) throws Exception {
simulateLogin("tanwenfang", "xxxx"); // 模拟登陆github的用户名和密码
}
/**
* @param userName 用户名
* @param pwd 密码
* @throws Exception
*/
public static void simulateLogin(String userName, String pwd) throws Exception {
/*
* 第一次请求
* grab login form page first
* 获取登陆提交的表单信息,及修改其提交data数据(login,password)
*/
// get the response, which we will post to the action URL(rs.cookies())
Connection con = Jsoup.connect(LOGIN_URL); // 获取connection
con.header(USER_AGENT, USER_AGENT_VALUE); // 配置模拟浏览器
Response rs = con.execute(); // 获取响应
Document d1 = Jsoup.parse(rs.body()); // 通过Jsoup将返回信息转换为Dom树
List<Element> eleList = d1.select("form"); // 获取提交form表单,可以通过查看页面源码代码得知
// 获取cooking和表单属性
// lets make data map containing all the parameters and its values found in the form
Map<String, String> datas = new HashMap<>();
for (Element e : eleList.get(1).getAllElements()) {
// 设置用户名
if (e.attr("name").equals("login")) {
e.attr("value", userName);
}
// 设置用户密码
if (e.attr("name").equals("password")) {
e.attr("value", pwd);
}
// 排除空值表单属性
if (e.attr("name").length() > 0) {
datas.put(e.attr("name"), e.attr("value"));
}
}
/*
* 第二次请求,以post方式提交表单数据以及cookie信息
*/
Connection con2 = Jsoup.connect("https://github.com/session");
con2.header(USER_AGENT, USER_AGENT_VALUE);
// 设置cookie和post上面的map数据
Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST)
.data(datas).cookies(rs.cookies()).execute();
// 打印,登陆成功后的信息
System.out.println(login.body());
// 登陆成功后的cookie信息,可以保存到本地,以后登陆时,只需一次登陆即可
Map<String, String> map = login.cookies();
for (String s : map.keySet()) {
System.out.println(s + " : " + map.get(s));
}
}
}
输出如下:
user_session:vbKDEuVP9CcYiTDJ9PgjBk_S7avOTTqGZMe6OknQXx2xYWn6
__Host-user_session_same_site:vbKDEuVP9CcYiTDJ9PgjBk_S7avOTTqGZMe6OknQXx2xYWn6
has_recent_activity:1
_gh_sess:UXhtTC9IM3hCVTVzR3dCS3ZCTFNCa0twdEpuTTJxZXdFZmRPbW1rSU9KUjdjbFpYeTE3VXRlV2NabzczQmVsL1c0bFZhL0lkeDZlOXZLOHRia0VBRGNVb2htVkYrUVlHMlRReGo3WjRtY1pvNGFqRzY4WVRjRjc1b3A0ZjFhU0lDOFVuOTFpcVpXTmpSc2ZDT3o2N2pyeXVFYjVBRGViOVJGY3Q3WTgzOENVU1lLNDl4K1dUTVhEY2pteENXV1I5LS1CTmxwNHRUU2J6MWYzaXZDWlBxT1FBPT0%3D--1a9be16d5fb8819b7f7914eff1a18e6b55175ca3
_octo:GH1.1.1256450890.1550226759
logged_in:yes
dotcom_user:tanwenfang
根据返回的cookies,可以判断此时登录成功,然后我们就可以带着cookies去请求各种url了。
三,登录之后进行数据分析,精确抓取数据。
根据上面的代码,我们不仅获取了cookies,还获取了登录之后返回的网页源码,此时有如下几种种情况:
(1)若我们所需的数据就在登录之后返回的源码里面,那么我们就可以直接通过Jsoup去解析源码了,然后利用Jsoup的选择器功能去筛选出我们需要的信息;
(2)若需要的数据是需要通过请求源码里的链接得到,那么我们就先解析源码,找出这个url,然后带上cookies模拟请求这个url就可以了。
(3)若我们所需的数据完全不在源码里面,那么我们就可以不用管这个源码了。我们看浏览器,打开谷歌的network,查找分析所有url的请求和响应结果,一般情况下,总能找到那一个url(一般这个url是一个固定的url,可能参数会不一样),其返回的数据是我们期望的,然后我们模拟请求这个url,带上cookies就可以请求了。
写在最后:一开始写模拟登录得时候,总觉得数据一定要在网页源码里面才能获取,所以当一个网页是由一堆js组成得就傻眼了。然后就希望能够获取渲染后的网页源码,这时候碰到了phantomjs,但是网上资料能说明白的很少,我还没理解,就放弃这种方式了。后来在一个QQ群碰到一个大神,教我用这种方式,去做数据分析。虽然这不是完美的解决方法,但是比较好理解,容易上手,暂时解决了问题。不过个人认为获取渲染后的网页的做法能适应大多数情况。
参考文章:
https://blog.csdn.net/dietime1943/article/details/73294442
https://blog.csdn.net/dietime1943/article/details/78974194