Java模拟浏览器登录带保护的网站

Java模拟浏览器登录带保护的网站

刚学习Android的同学,像我一样,在了解了Android的基本布局,组件和其他基本知识后,就迫不及待的向编写一个自己的软件。对于在校的同学来说,写一个关于教务的app还是挺有价值的,不管是锻炼做项目的能力,还是学习其他相关知识,都是一个不错的选择。我们的教务系统一般都是可以在浏览器登录的,那么我们就可以通过编写程序来模拟浏览器这一登录过程。


GET登录网页,得到cookie

想要登录教务系统,首先需要获取到登录到系统的页面
一般在GET获取这个网址的时候会同时得到一个cookie,大概流程如下图:

访问流程
获取初始cookie

如何获取到这个cookie呢?看我接下来的代码:
public static String getcookies() throws IOException {
        CookieManager manager=new CookieManager();
        manager.setCookiePolicy(CookiePolicy.ACCEPT_ALL);
        CookieHandler.setDefault(manager);
        URL url=new URL(A_URL);
        HttpURLConnection conn= (HttpURLConnection) url.openConnection();
        conn.getHeaderFields();
        CookieStore store = manager.getCookieStore();
        String cookies = store.getCookies().toString();
        cookies = cookies.replace("[", "");
        cookies = cookies.replace("]", "");
        return cookies;
    }

其中A_URL是登录页面的url,用GET获取这个页面时,服务器返回的数据头中会包含cookie信息。现在这个cookie还是没有用的,还需要服务器端将这个cookie与你的用户名密码绑定,就需要知道教务系统的登录地址,例如:

登录地址

POST用户名密码,绑定cookie

看一下浏览器进行POST请求时提交的数据及浏览器的请求头

表单数据

请求头

然后自己来完成这个动作

public static String doPost(){
        B_URL=A_URL+"?"+"username="+"你的学号"+"&passwd="+"你的密码"+"&login=%B5%C7%A1%A1%C2%BC";
        PrintWriter out = null;
        BufferedReader in = null;
        String result = "";

        try{
        URL url = new URL(B_URL);


        HttpURLConnection conn = (HttpURLConnection) url.openConnection();


        conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0");

        conn.setRequestProperty("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");

        conn.setRequestProperty("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");

        conn.setRequestProperty("Accept-Encoding", "gzip, deflate");

        conn.setRequestProperty("Referer", " http://xky.guet.edu.cn/student/public/login.asp");

        conn.setRequestProperty("Cookie", getcookies());

        conn.setRequestProperty("Connection", "keep-alive");

        conn.setRequestProperty("Upgrade-Insecure-Requests", "1");

        conn.setDoOutput(true);
        conn.setDoInput(true);

        out = new PrintWriter(conn.getOutputStream());
        out.flush();

        in = new BufferedReader(new  InputStreamReader(conn.getInputStream()));
        String line;
        while((line = in.readLine())!=null){
            result +="\n"+line;
        }
        }catch(Exception e){  
            System.out.println("发送POST请求异常"+e);  
            e.printStackTrace();  
        }finally{  
            try{  
                if(out!=null){  
                    out.close();  
                }  
                if(in!=null){  
                    in.close();  
                }  
            }catch(IOException ex){  
                ex.printStackTrace();  
            }  
        } 
        return result;
    }
利用cookie获取信息

到现在你的cookie就可以用了,例如获取学分:

public static String getCredit(){
        B_URL=A_URL+"?"+"term=&courselevel=null&ljtype=on&kcfw=0&jstype=pjxfj&lwOrderBy=stid&lwPageSize=50&lwBtnquery=%B2%E9%D1%AF";
        PrintWriter out = null;
        BufferedReader in = null;
        String result = "";

        try{
        URL url = new URL(B_URL);


        HttpURLConnection conn = (HttpURLConnection) url.openConnection();


        conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0");

        conn.setRequestProperty("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");

        conn.setRequestProperty("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");

        conn.setRequestProperty("Accept-Encoding", "gzip, deflate");

        conn.setRequestProperty("Referer", " http://xky.guet.edu.cn/student/public/login.asp");

        conn.setRequestProperty("Cookie", getcookies());

        conn.setRequestProperty("Connection", "keep-alive");

        conn.setRequestProperty("Upgrade-Insecure-Requests", "1");

        conn.setDoOutput(true);
        conn.setDoInput(true);

        out = new PrintWriter(conn.getOutputStream());
        out.flush();

        in = new BufferedReader(new  InputStreamReader(conn.getInputStream()));
        String line;
        while((line = in.readLine())!=null){
            result +="\n"+line;
        }
        }catch(Exception e){  
            System.out.println("发送POST请求异常"+e);  
            e.printStackTrace();  
        }finally{  
            try{  
                if(out!=null){  
                    out.close();  
                }  
                if(in!=null){  
                    in.close();  
                }  
            }catch(IOException ex){  
                ex.printStackTrace();  
            }  
        } 
        return result;
    }

好了,到现在模仿登录教务系统的java代码就完成了,剩下的就是将代码移植到Android应用中,编写界面,一个自己的Android app就可以完成了。

本人新手,有错指正,文章原创
  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用Java的HttpURLConnection类来模拟浏览器发送HTTP请求,获取服务器响应。具体步骤如下: 1. 创建URL对象,设置要访问的网址。 ``` URL url = new URL("http://www.example.com"); ``` 2. 打开连接,获取HttpURLConnection对象。 ``` HttpURLConnection conn = (HttpURLConnection) url.openConnection(); ``` 3. 设置请求头,模拟浏览器发送请求。 ```java conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"); ``` 4. 发送请求,获取服务器响应。 ``` InputStream inputStream = conn.getInputStream(); ``` 5. 解析响应内容,获取需要的信息。 完整代码示例: ```java import java.io.IOException; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.URL; public class BrowserSimulator { public static void main(String[] args) throws IOException { // 设置要访问的网址 URL url = new URL("http://www.example.com"); // 打开连接,获取HttpURLConnection对象 HttpURLConnection conn = (HttpURLConnection) url.openConnection(); // 设置请求头,模拟浏览器发送请求 conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"); // 发送请求,获取服务器响应 InputStream inputStream = conn.getInputStream(); // 解析响应内容,获取需要的信息 byte[] buffer = new byte[1024]; int len; while ((len = inputStream.read(buffer)) != -1) { System.out.println(new String(buffer, 0, len)); } inputStream.close(); } } ``` 注意:在实际开发中,可能需要根据不同的网站设置不同的请求头,以达到最佳的模拟效果。 ### 回答2: 要用Java模拟浏览器,可以利用Java程序中的网络编程和网页解析技术。 首先,我们需要使用Java的网络编程来建立与服务器的连接。可以使用Java提供的Socket类创建一个与目标网站的连接。然后,我们可以使用Java的HTTP协议相关类来发送HTTP请求,例如使用URL类来构建HTTP请求的URL地址,并使用URLConnection类来发送HTTP请求并获取服务器返回的数据。 接下来,我们需要解析服务器返回的HTML内容。可以使用Java中的HTML解析库,如Jsoup,来解析HTML文档。我们可以使用这些库来获取HTML中的元素,例如获取标题、链接、图片等。还可以使用XPath表达式来提取HTML中的信息。 除了基本的HTTP请求和HTML解析,还可使用Java模拟浏览器填写表单、处理Cookie等功能。我们可以使用Java的HTTP协议相关类来发送POST请求来模拟表单提交,并在请求头中设置Cookie信息。还可以使用Java的CookieManager类来管理请求中的Cookie信息。 此外,为了实现完整的浏览器模拟,还可以使用Java浏览器引擎,如Selenium,来控制浏览器的操作。这些引擎可以模拟浏览器的行为,如点击、滚动、截屏等。可以通过Java代码来控制浏览器引擎,模拟用户在浏览器中的操作。 综上所述,要用Java模拟浏览器,我们可以使用Java的网络编程和网页解析技术。通过建立与服务器的连接、发送HTTP请求、解析服务器返回的HTML内容,以及模拟浏览器的操作,我们可以实现一个简单的浏览器模拟功能。 ### 回答3: 要用Java模拟浏览器,我们可以使用Java中的网络编程和HTML解析技术。下面是一个简单的步骤来模拟浏览器的过程: 1. 使用Java的网络编程库,例如java.net包中的URL类来建立连接到目标网站。 2. 使用URLConnection类从URL对象中获取连接对象,并设置请求属性,例如设置User-Agent,模拟特定的浏览器类型。 3. 发送HTTP请求并接收服务器响应。可以使用URLConnection类的getInputStream方法获取响应的输入流。 4. 将接收到的响应进行逐行读取,并将响应存储到字符串中或处理响应数据。 5. 如果需要填写表单或进行其他交互操作,可以使用Java库中的相关类和方法,例如通过URL类的openConnection获取URLConnection对象,并使用该对象的setDoOutput和getOutputStream方法进行POST请求,向服务器发送表单数据。 6. 对接收到的响应进行HTML解析。可以使用Java库中的一些HTML解析器,例如jsoup,来解析HTML页面的DOM结构,提取所需的数据。 7. 根据需要,进行进一步的处理和操作,例如点击链接,跟踪页面导航等。 8. 最后,根据模拟浏览器需求,将所需的数据存储、展示或进行其他处理。 总之,使用Java模拟浏览器需要使用Java的网络编程和HTML解析技术,通过建立连接、发送HTTP请求、接收响应、解析HTML等步骤来实现对网页的模拟浏览。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值