关闭

android利用爬虫实现模拟登录

标签: android爬虫html
2166人阅读 评论(0) 收藏 举报
分类:

为了用手机登录校网时不用一遍一遍的输入账号密码,于是决定用爬虫抓取学校登录界面,然后模拟填写本次保存的账号、密码,模拟点击登录按钮。实现过程折腾好几个。
一开始选择的是htmlunit解析登录界面html,在pc上测的能实现,结果在android上运行不起来,因为htmlunit利用了javax中的类实现的解析,android不支持javax,所以就跑不起来。
不过pc还是ok的

package com.yasin;

import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.List;


import org.junit.Test;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlInput;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlPasswordInput;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;

public class AutoLogin {

    String url = "http://172.16.10.3/";

    @Test
    public void run(){

        try{
            WebClient webClient = new WebClient(BrowserVersion.CHROME);
            //htmlunit 对css和javascript的支持不好,所以请关闭之
            webClient.getOptions().setJavaScriptEnabled(false);
            webClient.getOptions().setCssEnabled(false);
            HtmlPage page = (HtmlPage)webClient.getPage(url);

            List<HtmlForm> forms = page.getForms();
            HtmlForm form = forms.get(0);

            HtmlTextInput name =  form.getInputByName("DDDDD");
            name.setValueAttribute("/*填写你的账号*/");
            HtmlPasswordInput pass =  form.getInputByName("upass");
            pass.setValueAttribute("/*你的密码*/");
            HtmlSubmitInput ok = form.getInputByName("0MKKey");
            System.out.println(pass.toString());
            ok.click();
        }catch(Exception e){
            System.out.println(e.toString());
        }

    }
}

于是接着调研,发现利用jsoup可以在android运行起来,不过这个库能抓取网页中的内容,也能进行赋值操作,但不支持模拟点击事件,网上有好多例子,是利用第一次访问获取cookie,然后把账号密码再给Post到服务器,完成模拟登陆。可以我们的校网竟然没有使用cookie,于是我只能抓包看看post的data有什么,然后把data直接通过post发送,不过不知道我们校网密码的加密的方式,所以填写密码需要先去抓包,抓到自己账号的密文,然后放到data中直接发送。成功了!
核心代码:

public  void login() throws IOException{
        Map<String,String> datas = new HashMap<String,String>();

        Connection con = Jsoup.connect("http://172.16.10.3/");
        con.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");//配置模拟浏览器
        Response rs= con.execute();//获取响应
        Document doc = Jsoup.parse(rs.body());

        datas.put("DDDDD", "/*自己的账号*/");
        datas.put("upass", "/*自己密码的密文,需抓包获取*/");
        datas.put("R1", "0");
        datas.put("R2", "1");
        datas.put("0MMKey", "123456");
        System.out.println(datas.toString());
        Connection con2=Jsoup.connect("http://172.16.10.3/");
        con2.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
         //设置cookie和post上面的map数据.cookies(rs.cookies())
        Response login=con2.ignoreContentType(true).method(Method.POST).data(datas).execute();

        Message msg = new Message();
        msg.what = 1;
        mHandler.sendMessage(msg);


    }

抓包方式:
这里写图片描述
点击登录后快速停止监听,获取form data,然后把data中的值填上就好了。
———————————分割———————————————
总的来说,如果只是单纯抓取网页内容android这一块利用jsoup还是能实现的,但不支持按钮的点击操作;Htmlunit API更好用,也能模拟点击事件,不过javax android并不支持,但服务器还是可以用来抓取数据的。

1
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

HtmlUnit 试用

pom: net.sourceforge.htmlunit htmlunit 2.18 ...
  • z69183787
  • z69183787
  • 2016-11-17 17:18
  • 971

HtmlUnit实现ajax网络爬虫

网上关于网络爬虫实现方式有很多种,但是很多都不支持Ajax,李兄说:模拟才是王道。确实,如果能够模拟一个没有界面的浏览器,还有什么不能做到的呢?关于解析Ajax网站的框架也有不少,我选择了HtmlUn...
  • lu8000
  • lu8000
  • 2013-08-30 23:46
  • 18276

Android3.1 HtmlUnit 中httpclient-4.2.1.jar 的org.apache.http.conn.scheme.Scheme 与 android.jar中的版本不一致

错误代码: 10-13 12:49:24.370: W/dalvikvm(16573): threadid=9: thread exiting with uncaught exception (gr...
  • seancx
  • seancx
  • 2012-10-13 15:16
  • 1494

Android(Java) 模拟登录知乎并抓取用户信息

前不久,看到一篇文章我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言,该文章中使用的登录方式是直接复制cookie到代码中,这里呢,我不以爬信息为目的。只是简单的介绍使用jav...
  • sbsujjbcy
  • sbsujjbcy
  • 2015-08-10 11:49
  • 8834

安卓模拟器BlueStacks+TCPdump对APP抓包分析

最近要搞安卓APP抓包分析,在网上找了一些方法,综合一自身条件下还是安卓模拟器+tcpdump最方便。需准备工具:1、Microsoft .NET Framework 2.0 SP22、Bluesta...
  • wangqiuyun
  • wangqiuyun
  • 2014-09-25 09:25
  • 21384

安卓模拟器如何连接adb

模拟器:夜神/逍遥/天天/网易/海马玩 系统:Window7 cmd命令: 夜神模拟器:adb connect 127.0.0.1:62001 逍遥模拟器 adb connect 127.0....
  • sylvia2016
  • sylvia2016
  • 2017-05-07 00:13
  • 2001

如何监控Android模拟器的HTTP访问情况

前几个月,在调试某个应用时,需要监控应用与服务器之间的HTTP通讯。从搜索引擎找到的方案几乎全错。要么是人云亦云,要么是只能满足旧的平台版 本,要么根本就是臆测。不得其解之际,用比较复杂的方法解决了。...
  • asmcvc
  • asmcvc
  • 2013-08-28 15:08
  • 3629

5款最为使用的android模拟器

Top 5 Android Emulator of 2016 | Run android apps on PC using Emulator Android emulators/simulator...
  • albertjone
  • albertjone
  • 2016-10-11 20:08
  • 1635

利用Fiddler对Android模拟器网络请求进行抓包

在Android的开发调试过程中,特别是针对网络编程的情况,很多时候我们希望能够对Android的网络请求进行抓包,用来定位以及分析我们程序的问题。下面我介绍使用Fiddler对Android模拟器的...
  • u013372487
  • u013372487
  • 2016-01-27 01:03
  • 2355

Android网络爬虫程序(基于Jsoup)

Android网络爬虫程序(基于Jsoup) 摘要:基于 Jsoup 实现一个 Android 的网页抓取程序,抓取页面的内容并显示出来。写这个程序的主要目的是抓取海投网的宣讲会信息(公司、时间、...
  • lisong694767315
  • lisong694767315
  • 2015-01-24 21:41
  • 10355
    个人资料
    • 访问:71093次
    • 积分:1291
    • 等级:
    • 排名:千里之外
    • 原创:59篇
    • 转载:1篇
    • 译文:0篇
    • 评论:31条