android利用爬虫实现模拟登录

原创 2016年08月02日 20:58:47

为了用手机登录校网时不用一遍一遍的输入账号密码,于是决定用爬虫抓取学校登录界面,然后模拟填写本次保存的账号、密码,模拟点击登录按钮。实现过程折腾好几个。
一开始选择的是htmlunit解析登录界面html,在pc上测的能实现,结果在android上运行不起来,因为htmlunit利用了javax中的类实现的解析,android不支持javax,所以就跑不起来。
不过pc还是ok的

package com.yasin;

import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.List;


import org.junit.Test;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlInput;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlPasswordInput;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;

public class AutoLogin {

    String url = "http://172.16.10.3/";

    @Test
    public void run(){

        try{
            WebClient webClient = new WebClient(BrowserVersion.CHROME);
            //htmlunit 对css和javascript的支持不好,所以请关闭之
            webClient.getOptions().setJavaScriptEnabled(false);
            webClient.getOptions().setCssEnabled(false);
            HtmlPage page = (HtmlPage)webClient.getPage(url);

            List<HtmlForm> forms = page.getForms();
            HtmlForm form = forms.get(0);

            HtmlTextInput name =  form.getInputByName("DDDDD");
            name.setValueAttribute("/*填写你的账号*/");
            HtmlPasswordInput pass =  form.getInputByName("upass");
            pass.setValueAttribute("/*你的密码*/");
            HtmlSubmitInput ok = form.getInputByName("0MKKey");
            System.out.println(pass.toString());
            ok.click();
        }catch(Exception e){
            System.out.println(e.toString());
        }

    }
}

于是接着调研,发现利用jsoup可以在android运行起来,不过这个库能抓取网页中的内容,也能进行赋值操作,但不支持模拟点击事件,网上有好多例子,是利用第一次访问获取cookie,然后把账号密码再给Post到服务器,完成模拟登陆。可以我们的校网竟然没有使用cookie,于是我只能抓包看看post的data有什么,然后把data直接通过post发送,不过不知道我们校网密码的加密的方式,所以填写密码需要先去抓包,抓到自己账号的密文,然后放到data中直接发送。成功了!
核心代码:

public  void login() throws IOException{
        Map<String,String> datas = new HashMap<String,String>();

        Connection con = Jsoup.connect("http://172.16.10.3/");
        con.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");//配置模拟浏览器
        Response rs= con.execute();//获取响应
        Document doc = Jsoup.parse(rs.body());

        datas.put("DDDDD", "/*自己的账号*/");
        datas.put("upass", "/*自己密码的密文,需抓包获取*/");
        datas.put("R1", "0");
        datas.put("R2", "1");
        datas.put("0MMKey", "123456");
        System.out.println(datas.toString());
        Connection con2=Jsoup.connect("http://172.16.10.3/");
        con2.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
         //设置cookie和post上面的map数据.cookies(rs.cookies())
        Response login=con2.ignoreContentType(true).method(Method.POST).data(datas).execute();

        Message msg = new Message();
        msg.what = 1;
        mHandler.sendMessage(msg);


    }

抓包方式:
这里写图片描述
点击登录后快速停止监听,获取form data,然后把data中的值填上就好了。
———————————分割———————————————
总的来说,如果只是单纯抓取网页内容android这一块利用jsoup还是能实现的,但不支持按钮的点击操作;Htmlunit API更好用,也能模拟点击事件,不过javax android并不支持,但服务器还是可以用来抓取数据的。

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Android 网络爬虫demo

嗯……………………………………… 我也不懂爬虫是什么意思 就是从网页上扒数据吧应该是这样 所以这个demo抓取的是我们学校新闻网页的东西 看一下效果 抓的是这个网页 然后写了一个APP 是...

Android实战——jsoup实现网络爬虫,糗事百科项目的起步

Android实战——jsoup实现网络爬虫,爬糗事百科主界面 本篇文章包括以下内容: 前言 jsoup的简介 jsoup的配置 jsoup的使用 结语 前言...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

Android利用jsoup爬虫爬网页数据(二)

效果图太大了,我放到github上了,想看效果的点击以下链接: 效果图一 效果图二 效果图和上文是一样的,上文只是说了一下简单的,这里的稍微麻烦一点,因为上文的基本就是个列表,而且数据结构比较简...

2017Android通用流行框架大全

Android通用流行框架大全 1. 缓存 名称 描述 DiskLruCache Java实现基于LRU的磁盘缓存 ...

Android利用jsoup爬虫爬网页数据(一)

效果图太大了,我放到github上了,想看效果的点击以下链接: 效果图一 效果图二 首先这个jsoup只能对html爬取数据,js里面的东西爬不到,暂时先只爬html的数据,这里先说明一下,博主...

CSDN Android客户端开发(二):详解如何基于Java用Jsoup爬虫HTML数据

本文参考链接详细介绍如何使用Jsoup包抓取HTML数据,是一个纯java工程,并将其打包成jar包。希望了解如何用java语言爬虫网页的可以看下。 杂家前文就又介绍用HTTP访问百度主页得到html...

使用 HttpClient 和 HtmlParser 实现简易爬虫

使用 HttpClient 和 HtmlParser 实现简易爬虫 这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用,在此基础上实现了一个简易的网络...
  • zmissm
  • zmissm
  • 2013-11-06 21:43
  • 1090
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)