htmlunit分页实现

最新推荐文章于 2024-01-11 00:40:19 发布
最新推荐文章于 2024-01-11 00:40:19 发布
阅读量261 收藏 1
点赞数
分类专栏： HtmlUnit 文章标签： htmlunit分页 分页 HtmlUnit 
package com.htmlunit.sky;

import java.math.BigDecimal;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.CollectingAlertHandler;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.DomNodeList;
import com.gargoylesoftware.htmlunit.html.HtmlDivision;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlPasswordInput;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;
import com.gargoylesoftware.htmlunit.html.HtmlTable;
import com.gargoylesoftware.htmlunit.html.HtmlTableCell;
import com.gargoylesoftware.htmlunit.html.HtmlTableRow;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;
/**
 * 运用htmlUnit爬网页
 *
 * @author liming
 */
public class SkyHtmlUnit {
    // 充值密码
    private static final String transPassword = "xxxx";
    // 用户名
    private static final String userName = "XXXX";
    // 密码
    private static final String userPassword = "xxxx";

    /**
     * 充值
     *
     * @param transNumber
     *            被充值用户号码
     * @param transAmount
     *            充值金额
     */
    public static boolean recharge(String transNumber, String transAmount) {
        boolean bool = false;
        try {
            BigDecimal b = new BigDecimal(transAmount);
            b = b.setScale(0, BigDecimal.ROUND_DOWN);
            WebClient client = new WebClient(BrowserVersion.INTERNET_EXPLORER_8);
            List<String> collectedAlerts = new ArrayList<String>();
            client.setAlertHandler(new CollectingAlertHandler(collectedAlerts));
            HtmlPage page1 = (HtmlPage) client
                    .getPage("http://ZXXXX/vams/");
            HtmlForm form = (HtmlForm) page1.getForms().get(0);
            HtmlTextInput username = (HtmlTextInput) form
                    .getInputByName("login:userName");
            HtmlPasswordInput password = (HtmlPasswordInput) form
                    .getInputByName("login:password");
            username.setValueAttribute(userName);
            password.setValueAttribute(userPassword);
            form.getInputByName("login:j_id_jsp_28762255_4").click();
            client.setJavaScriptEnabled(true);
            String Recharge = "http://ZXXXX/vams/WebPay/WebTrans.faces";
            HtmlPage Recharge1 = (HtmlPage) client.getPage(Recharge);
            HtmlForm RechargeForm = (HtmlForm) Recharge1.getForms().get(0);
            HtmlTextInput number = (HtmlTextInput) RechargeForm
                    .getInputByName("webPayment:transNumber");
            HtmlTextInput transAmountt = (HtmlTextInput) RechargeForm
                    .getInputByName("webPayment:transAmount");
            HtmlPasswordInput transPass = (HtmlPasswordInput) RechargeForm
                    .getInputByName("webPayment:transPassword");
            // 设置充值密码
            transPass.setValueAttribute(transPassword);
            // 设置充值金额
            transAmountt.setValueAttribute(b.toString());
            // 设置充值号码
            number.setValueAttribute(transNumber);
            RechargeForm.getInputByName("webPayment:j_id_jsp_427518967_10")
                    .click();
            String returnvalue = collectedAlerts.get(0);
            if (returnvalue.equals("充值成功！")) {
                bool = true;
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        System.out.println("**********充值结束*******");
        return bool;
    }

    /**
     * 充值结果查询
     *
     * @param payNoValue
     *            充值号码
     * @param beforeTime
     *            充值时间前 格式YYYYMMdd
     * @param afterTime
     *            充值时间后 格式YYYYMMdd
     * @param rechargeAmount
     *            充值金额
     * @throws ParseException
     */
    public static List<RechargeBean> getRechargeList(String payNoValue,
            String beforeTime, String afterTime, String rechargeAmount
            ) throws ParseException {
        SimpleDateFormat format = new SimpleDateFormat("yyyyMMdd");
        SimpleDateFormat formatX = new SimpleDateFormat("yyyy/MM/dd");
        String beforeT = "";
        String afterT = "";
        if (beforeTime != null && !afterTime.equals("")) {
            beforeT = formatX.format(format.parse(beforeTime));
        }
        if (afterTime != null && !afterTime.equals("")) {
            afterT = formatX.format(format.parse(afterTime));
        }
        // 存储集合
        List<RechargeBean> list = new ArrayList<RechargeBean>();
        try {
            WebClient client = new WebClient(BrowserVersion.INTERNET_EXPLORER_8);
            HtmlPage page1 = (HtmlPage) client
                    .getPage("http://ZXXXX/vams/");
            HtmlForm form = (HtmlForm) page1.getForms().get(0);
            HtmlTextInput username = (HtmlTextInput) form
                    .getInputByName("login:userName");
            HtmlPasswordInput password = (HtmlPasswordInput) form
                    .getInputByName("login:password");
            username.setValueAttribute(userName);
            password.setValueAttribute(userPassword);
            form.getInputByName("login:j_id_jsp_28762255_4").click();
            client.setJavaScriptEnabled(true);
            String Recharge = "http://ZXXXX/vams/WebPay/WebPaySearch.faces?showType=2";
            HtmlPage Recharge1 = (HtmlPage) client.getPage(Recharge);
            HtmlForm rechargeForm = (HtmlForm) Recharge1.getForms().get(0);
            // 充值号码
            HtmlTextInput payNo = (HtmlTextInput) rechargeForm
                    .getInputByName("form1:payNo");
            payNo.setValueAttribute(payNoValue);
            // 充值时间：
            HtmlTextInput j_id_jsp_1155368641_9 = (HtmlTextInput) rechargeForm
                    .getInputByName("form1:j_id_jsp_1155368641_9");
            j_id_jsp_1155368641_9.setValueAttribute(beforeT);
            HtmlTextInput j_id_jsp_1155368641_11 = (HtmlTextInput) rechargeForm
                    .getInputByName("form1:j_id_jsp_1155368641_11");
            j_id_jsp_1155368641_11.setValueAttribute(afterT);
            // 充值金额
            HtmlTextInput j_id_jsp_1155368641_13 = (HtmlTextInput) rechargeForm
                    .getInputByName("form1:j_id_jsp_1155368641_13");
            j_id_jsp_1155368641_13.setValueAttribute(rechargeAmount);
            // button
            HtmlSubmitInput button1 = (HtmlSubmitInput) rechargeForm
                    .getInputByName("form1:j_id_jsp_1155368641_32");
            HtmlPage page12 = (HtmlPage) button1.click();
            HtmlForm aa = page12.getForms().get(0);
            int divSize = aa.getByXPath("//div[@id='zhu1']").size();
            if (divSize > 1) {
                HtmlDivision div = (HtmlDivision) aa.getByXPath(
                        "//div[@id='zhu1']").get(1);
                String aad = div.asText();
                int pageNumber = (Integer
                        .parseInt(aad.split("共")[2].split("页")[0].trim()));
                Map<String, String[]> map = new HashMap<String, String[]>();
                int key = 1;
                for (int i = 0; i < pageNumber; i++) {
                    if (i == 0) {
                        DomNodeList<HtmlElement> tables = page12
                                .getElementsByTagName("table");
                        final HtmlTable table = (HtmlTable) tables.get(tables
                                .size() - 1);
                        for (final HtmlTableRow row : table.getBodies().get(0).getRows()) {
                            String[] alertPring = new String[7];
                            int d = 0;
                            for (final HtmlTableCell cell : row.getCells()) {
                                alertPring[d] = cell.asText();
                                d++;
                            }
                            map.put(key +"", alertPring);
                            key++;
                        }
                    } else {
                        HtmlPage ahtmpr = div.getHtmlElementsByTagName("a")
                                .get(3).click();
                        DomNodeList<HtmlElement> tables2 = ahtmpr
                                .getElementsByTagName("table");
                        final HtmlTable table = (HtmlTable) tables2.get(tables2
                                .size() - 1);
                        for (final HtmlTableRow row : table.getBodies().get(0)
                                .getRows()) {
                            String[] alertPring = new String[7];
                            int d = 0;
                            for (final HtmlTableCell cell : row.getCells()) {
                                alertPring[d] = cell.asText();
                                d++;
                            }
                            map.put(key +"", alertPring);
                            key++;
                        }
                    }
                }
                Set<String> keyV = map.keySet();
                Iterator<String> it2 = keyV.iterator();
                while (it2.hasNext()) {
                    RechargeBean bean = new RechargeBean();
                    String[] values = map.get(it2.next());
                    for (int i = 0; i < values.length; i++) {
                        bean.setId(values[0]);
                        bean.setDate(values[1]);
                        bean.setNumber(values[2]);
                        bean.setAmount(values[3]);
                        bean.setaType(values[4]);
                        bean.setsType(values[5]);
                        bean.setCgType(values[6]);
                    }
                    list.add(bean);
                }
            }
            System.out.println("********充值结果查询结束***********");
        } catch (Exception e) {
            e.printStackTrace();
        }
        return list;
    }

    /**
     * 返回代理商余额
     */
    public static String getBalance() {
        String balance = "";
        try {
            WebClient client = new WebClient(BrowserVersion.INTERNET_EXPLORER_8);
            HtmlPage page1 = (HtmlPage) client
                    .getPage("http://ZXXXX/vams/");
            HtmlForm form = (HtmlForm) page1.getForms().get(0);
            HtmlTextInput username = (HtmlTextInput) form
                    .getInputByName("login:userName");
            HtmlPasswordInput password = (HtmlPasswordInput) form
                    .getInputByName("login:password");
            username.setValueAttribute(userName);
            password.setValueAttribute(userPassword);
            form.getInputByName("login:j_id_jsp_28762255_4").click();
            client.setJavaScriptEnabled(true);
            String Recharge = "http://ZXXXX/vams/WebPay/WebPayRemainSearch.faces";
            HtmlPage Recharge1 = (HtmlPage) client.getPage(Recharge);
            HtmlForm rechargeForm = (HtmlForm) Recharge1.getForms().get(0);
            // button按钮请求
            HtmlSubmitInput button1 = (HtmlSubmitInput) rechargeForm
                    .getInputByName("j_id_jsp_1894475275_1:j_id_jsp_1894475275_32");
            HtmlPage page3 = (HtmlPage) button1.click();
            DomNodeList<HtmlElement> tables = page3
                    .getElementsByTagName("table");
            final HtmlTable table = (HtmlTable) tables.get(tables.size() - 1);
            for (final HtmlTableRow row : table.getBodies().get(0).getRows()) {
                int i = 0;
                for (final HtmlTableCell cell : row.getCells()) {
                    if (i == 7) {
                        HtmlPage page = cell.getHtmlElementsByTagName("a").get(
                                0).click();
                        DomNodeList<HtmlElement> pagezhu = (DomNodeList<HtmlElement>) page
                                .getElementById("zhu1").getElementsByTagName(
                                        "td");
                        for (int j = 1; j < pagezhu.getLength(); j++) {
                            balance = pagezhu.get(1).asText();
                        }
                    }
                    i++;
                }
            }
            System.out.println("*************代理商余额查询结束***********");
        } catch (Exception e) {
            e.printStackTrace();
        }
        return balance;
    }

    public static void main(String[] args) throws ParseException {
        // 充值结果查询
        // 201120619
        List<RechargeBean> list = getRechargeList("", "", "", "");
        for (int i = 0; i < list.size(); i++) {
            RechargeBean bean = list.get(i);
            System.out.println(bean.getDate());
        }
        // getRechargeList("", "", "", "", "");
        // 查询余额
        // System.out.println(getBalance());

        // 进行充值
        // System.out.println(recharge("18911019001", ""));
    }
}
jccmjl
关注
专栏目录
【项目实战】NekoHTML入门介绍
本本本添哥
06-06 487
NekoHTML 是一个 Java语言的 HTML扫描器和标签补全器(tag balancer) ，使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能够扫描HTML文件并“修正”许多作者（人或机器）在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素，以及不匹配的内嵌元素标签。NekoHTML的开发使用了 Xerces Native Interface (XNI)，后者是Xerces2的实现基础。
Java利用HtmlUtil获取页面ajax渲染数据
马句
03-10 1992
一、序言 很久没更新博客，最近由于开发需求又将之前很久不用的抓取捡起来了 发现只是单纯的httpclient获取一些页面得不到想要的数据 虽然我们可以通过研究拿到JS执行的请求路径再用java代码获取我们需要的这部分数据，且不说我们能不能够从JS脚本中分析到这个请求路径和请求参数，光是分析这部分源码的代价就已经很高了，在我分析了一段时间后放弃了 于是使用了htmlunit模拟浏览器操作来获...
JSoup+Htmlunit爬取分页组件中的分页数据
weixin_42616602的博客
04-29 1358
JSoup+htmlunit爬取分页组件中的数据 业务需求场景 爬取XX网站中的球队数据-球队的比赛赛程（所有赛程放在一个分页主件中的） 这里不像传统的分页页面，需要传入一个page页码再去请求，然后再去爬取table 中的数据 解决思路 利用 htmlunit 去模拟点击事件（这里指点击下一页），循环点击去取到每一页的结果（效率低，建议后面存缓存或者入库） 分析页面： 我们可以发现数据是放在...
htmlunit分页爬去数据实现
jccmjl的专栏
04-20 369
package com.htmlunit.sky; import java.math.BigDecimal; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.HashMap; import java.uti...
Htmlunit之爬取网页
疯狂小羊的博客
11-28 4565
HtmlUnit 中WebClient个人觉得就像一个浏览器，只要我们在webClient.getPage("网址")输入网址就可以获取到相应的页面，返回的是一个HtmlPage变量，就是页面 //声明一个webClient变量 WebClient webClient = new WebClient(); //获取一个网页 HtmlPage page page = webClient.ge
链接html的爬取,HtmlUnit爬取页面列表链接
weixin_29343657的博客
06-17 262
场景：爬虫网页列表上的链接，用于再次爬虫，主要功能是列表翻页功能。代码参考：package com;import com.gargoylesoftware.htmlunit.BrowserVersion;import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;import com.gargoylesoftwa...
htmlunit爬取动态页面jar包
01-09
一共有21个jar包。亲测可用不冲突！ 上述的jar包支持爬取动静态界面。
基于java的文本搜索引擎的设计与实现源码.zip
09-29
这些框架提供了完整的搜索引擎功能，包括索引、查询、排序、分页等，并且支持分布式部署，满足大规模数据的处理需求。 五、性能优化 1. **并行处理**：利用多线程或分布式计算提升索引构建和查询处理的速度。 2. *...
考试类精品--基于SSM实现的招聘考试系统。试题爬取通过WebCollector爬虫框架网上爬取试题，通过Lucen.zip
最新发布
02-06
在这个考试系统中，WebCollector被用来抓取网上的各类招聘考试题目，这一步通常涉及网页解析（如使用Jsoup或HtmlUnit库），以及对抓取数据的清洗和预处理。 3. **Lucene**： Lucene是Apache软件基金会的开源全文...
IDEA搭建SSM实现登录、注册，数据增删改查功能
热门推荐
sinat_37001576的博客
04-18 3万+
搭建空的Maven项目 使用Intellij idea 搭建基本的maven空项目 new-&gt;project 最后Finish，Maven项目搭建完成 构建项目基本骨架 1，在java下新建com 2，在com下新建springmvc 3，在springmvc下新建controller、dao、mapping、pojo、service 如下图： 目录解释如...
jsoup分页爬取网页
12-26
jsoup分页爬取网页，jsoup分页爬取网页jsoup分页爬取网页内置jsoup所需要的jar包
htmlunit+quartz定时抓取博文并生成jsp页面
苏苏爱自由
06-07 2326
前言 分析网页 页码分析 文章链接分析 文章内容分析 io流生成jsp页面 squarz设置定时抓取 前言看视频看的累了 写写博文~ 很久以前就想有个自己的博客。csdn很好，可是我不是专家啊，还是功底不够， 没有权限，也就不能实现自己的一些想法。所以就百度了一个静态模版。有了模版，问题来了。是个空壳子啊，没有任何内容，所以就想着爬取自己csdn上面的所有文章并生成相应的jsp页面保存到本地，而
html分页功能实现原理无美化，代码中有详细的注释
wlb1012768230的博客
08-24 1011
【代码】html分页功能实现原理无美化，代码中有详细的注释。
使用htmlunit采集网页+点击网页按钮
adyuebanwan的专栏
06-27 8627
有兴趣可以了解下这款国内人气很旺的JAVA代码生成器基于拖拽,不用写复杂的模板，支持多种数据库，适配wap,管理后台各种功能全有 免费开源 地址：https://blog.csdn.net/adyuebanwan/article/details/83006405 或者 http://www.magicalcoder.com ====================================...
使用HtmlUnit爬取知网论文
u010386139的博客
01-22 1757
转载请注明：http://mp.blog.csdn.net/postedit/79131443 首先编写HtmlUtils类，这个类将一些常用方法集成到一个类里面。 工具类 public class HtmlUtil { /* * 启动JS */ public static WebClient iniParam_Js() { final WebClient webClie
基于HtmlUnit获取页面及复选框元素、单击事件操作
Loser100的博客
07-24 2873
常用WebClient的参数设置 //1.创建对象 WebClient webClient=newWebClient(BrowserVersion.CHROME); //2.设置参数 //启动js webClient.getOptions().setJavaScriptEnabled(true); //关闭css渲染 webClient.getOptions().se
模拟浏览器的神器 - HtmlUnit
03-26 668
随着Web的发展，RIA越来越多，JavaScript和Complex AJAX Libraries给网络爬虫带来了极大的挑战，解析页面的时候需要模拟浏览器执行JavaScript才能获得需要的文本内容。   好在有一个Java开源项目HtmlUnit，它能模拟Firefox、IE、Chrome等浏览器，不但可以用来测试Web应用，还可以用来解析包含JS的页面以提取信息。   下面看看...
Java：爬虫htmlunit实践
一些平时在开发过程中遇到的常见问题，分享给大家
01-11 1940
Java：爬虫htmlunit实践，爬取指定网站数据
使用HtmlUnit模拟Cookie登录：实现与wsyyuser.xywy.com网站会话
HTMLUnit是一个强大的Java库，用于无页面加载的Web应用程序自动化测试。...然而，为了实现完整的登录流程，你需要补充getLogin()方法中具体的网页解析、表单填写和提交逻辑，或者与后端API的交互部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值