[Jsoup] 模拟浏览器:post方式模拟登陆获取网页数据(二)

从一个URL获取Document对象的其他姊妹章:

模拟浏览器:get方式简单获取网页数据(一)

模拟浏览器:post方式模拟登陆获取网页数据(二)

模拟浏览器:Jsoup工具类的使用及失败重试的retry策略(三)

本篇文章是利用Jsoup模拟登陆GitHub。这里仅限交流学习用,如利用代码进行恶意攻击他网站,和作者无关 ^ ^!

开始前准备:

Stept 1): 安装一个火狐/google的Chrome浏览器,作用是利用Firebug插件进行分析提交协议,虽然IE从7开始也有了类似的功能,但毫无疑问仍然没有火狐和Chrome好用。

Stept 2): 构建一个Jsoup项目,普通的java项目即可,并且导入Jsoup的Jar包。如果还不了解Jsoup是什么的,请参照文章:「Jsoup到底是什么」如果是Maven项目就可以直接在pom.xml中引入Jsoup即可,也可以参照另一篇文章:「模拟浏览器:get方式简单获取网页数据(一)」

Stept 3): 分析提交表单,以便我们确定两件重要的事情「重要」

  • 所有请求的表单参数
  • 哪些表单数据需要被提交

下面的是github登陆的界面及form:

这里注意图中的几个重要信息:其中form标签中的action属性代表表单数据最终会提交到哪里(可以在下面代码中第二次提交的代码块中看到该地址)action="/session",另外需要关注表单中所有被提交的input标签,这里更重要的是hidden属性的input,这种隐藏的input就是一种防爬虫机制,它类似一种web的流水号,你在提交表达的时候带有这个流水号,才能证明用户真正的进入了webflow流程,如果带有一个错误的,或者不带有这个流水号,那么网站会认为用户非法进入了webflow流程(被认为是机器人/爬虫),类似我们去医院看病前需挂号一样。

Stept 4): 利用Firebug抓取post提交的数据包,来确认最终模拟提交的参数「重要」

下面的是Firebug的抓取界面(先在火狐浏览器安装Firebug插件后,按F12呼出,点击网络Net,在登陆界面填写用户名密码,点击登陆按钮,在Firebug中找到第一个提交方式Method为POST的请求):

同样在Firebug抓取界面也要注意几个重要信息:1).注意URL,可以确定该URL和表单的action值对应,即为最终表达提交地址。2).注意Post值,可以确定该列表值与表单中input值对应相等。3).其他信息:点击图中Headers可以看到相关其他信息,比如header值,cookies相关,reference等,有的时候模拟登陆的时候这些值都需要一并提交过去

代码实现

注:本文会定期进行更新代码同步到GitHub (文章底部有地址) 如果有任何代码问题可以评论留言或者加群。

一旦post提交参数最终提交的URL地址确定后,就可以利用Jsoup进行模拟登陆,代码如下:

/**
 * GITHUBLoginApater.java
 *
 * Function:Jsoup model apater class.
 *
 *   ver     date           author
 * ──────────────────────────────────
 *   1.0     2017/06/22     bluetata
 *
 * Copyright (c) 2017, [https://github.com/] All Rights Reserved.
 */
package com.datacrawler.service.model.github.com;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

/**
 * @since      crawler(datasnatch) version(1.0)</br>
 * @author     bluetata / sekito.lv@gmail.com</br>
 * @reference  http://bluetata.blog.csdn.net/</br>
 * @version    1.0</br>
 * @update     03/14/2019 16:00
 */
public class GITHUBLoginApater {

    public static String LOGIN_URL = "https://github.com/login";
    public static String USER_AGENT = "User-Agent";
    public static String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";
    
    public static void main(String[] args) throws Exception {

        simulateLogin("bluetata", "password123"); // 模拟登陆github的用户名和密码

    }

    /**
     * @param userName 用户名
     * @param pwd 密码
     * @throws Exception
     */
    public static void simulateLogin(String userName, String pwd) throws Exception {

        /* 
         * 第一次请求 
         * grab login form page first
         * 获取登陆提交的表单信息,及修改其提交data数据(login,password)
         */
        // get the response, which we will post to the action URL(rs.cookies())
        Connection con = Jsoup.connect(LOGIN_URL);  // 获取connection
        con.header(USER_AGENT, USER_AGENT_VALUE);   // 配置模拟浏览器
        Response rs = con.execute();                // 获取响应
        Document d1 = Jsoup.parse(rs.body());       // 转换为Dom树
        
        System.out.println(d1);
        
        List<Element> eleList = d1.select("form");  // 获取提交form表单,可以通过查看页面源码代码得知

        // 获取cooking和表单属性
        // lets make data map containing all the parameters and its values found in the form
        Map<String, String> datas = new HashMap<>();
        
        // 01/24/2019 17:45 bluetata 更新 -------------------------------------------------------------- Start ----------
        // GitHub多次改版更新,最新的提交request data为:
        
        // authenticity_token   ll0RJnG1f9XDAaN1DxnyTDzCs+YXweEZWel9kGkq8TvXH83HjCwPG048sJ/VVjDA94YmbF0qvUgcJx8/IKlP8Q==
        // commit  Sign+in
        // login   bluetata
        // password    password123
        // utf8    ✓
        
        for(int i = 0; i < eleList.size(); i++) {
        
            for (Element e : eleList.get(i).getAllElements()) {
                // 设置用户名
                if (e.attr("name").equals("login")) {
                    e.attr("value", userName);
                }
                // 设置用户密码
                if (e.attr("name").equals("password")) {
                    e.attr("value", pwd);
                }
                // 排除空值表单属性
                if (e.attr("name").length() > 0) {
                    datas.put(e.attr("name"), e.attr("value"));
                }
            }
        }

        
//      旧逻辑  delete  01/24/2019 17:49 bluetata --------------------------------------------start
//        for (Element e : eleList.get(0).getAllElements()) {
//            // 设置用户名
//            if (e.attr("name").equals("login")) {
//                e.attr("value", userName);
//            }
//            // 设置用户密码
//            if (e.attr("name").equals("password")) {
//                e.attr("value", pwd);
//            }
//            // 排除空值表单属性
//            if (e.attr("name").length() > 0) {
//                datas.put(e.attr("name"), e.attr("value"));
//            }
//        }
//      旧逻辑  delete  01/24/2019 17:49 bluetata --------------------------------------------end
        
        
        // 01/24/2019 17:45 bluetata 更新 --------------------------------------------------------------- End -----------
        
        /*
         * 第二次请求,以post方式提交表单数据以及cookie信息
         */
        Connection con2 = Jsoup.connect("https://github.com/session");
        con2.header(USER_AGENT, USER_AGENT_VALUE);
        // 设置cookie和post上面的map数据
        Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST).data(datas).cookies(rs.cookies()).execute();
        // 打印,登陆成功后的信息
        System.out.println(login.body());

        // 登陆成功后的cookie信息,可以保存到本地,以后登陆时,只需一次登陆即可
        Map<String, String> map = login.cookies();
        for (String s : map.keySet()) {
            System.out.println(s + " : " + map.get(s));
        }
    }

}

最后运行返回的html即为,github成功登陆后的个人仓库相关更新信息,以此可以判断是否登陆成功,如果不成功则还停留在登陆界面。
成功后打印的cookies信息:

user_session : xkXvNQyNzKFTrBMtbXdieZ29FtimemTz1943fAmo7w4xOSK
__Host-user_session_same_site : xkXvNQyNzKFTrBluetataXWvhdLmkYmTzblueqfAmo7w4xOSK
_gh_sess : eyJsYXN0X3dyaXRlIjoxNDk4MTEyODQ5NDQ1LCJmbGdie=I6eyJtimeNjYXJkIj1943Wx5dGljc19kpb24iLCJhbmFseXRpY3NfbG9jYXRpb24iXSwiZmxhc2hlcyI6eyJhbmFseXRpY3NfZGltZW5zaW9uIjp7Im5hbWUidietime1943lbnNpb241IiwidmFsdWUiOiJMb2dnZWQgSW4ifSwiYW5hbHl0aWNzX2xvY2F0aW9uIjoiL2Rhc2hib2FyZCJ9fSwic2Vzc2lvbl9pZCI6IjFkNGQ1MWE3NmM4MzU5MTUzbluetataxZGzgzIiwiY29udGV4dCI6Ii8ifQ%3D%3D--af5c70cdfbluec01be903dtata083ce2e53eb
logged_in : yes
dotcom_user : bluetata

Jsoup学习讨论QQ群:50695115

Jsoup爬虫代码示例及博客内源码下载:https://github.com/bluetata/crawler-jsoup-maven

更多Jsoup相关文章,请查阅专栏:【Jsoup in action】

本文原创由`bluetata`发布于blog.csdn.net、转载请务必注明出处。

Flag Counter

发布了115 篇原创文章 · 获赞 177 · 访问量 49万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览