java 模拟登录后调用ajax_HtmlUnit 一个使用HTMLUnit模拟登陆网站并且爬取页面ajax执行结果的例子 - 下载 - 搜珍网...

最新推荐文章于 2021-08-25 11:37:13 发布
最新推荐文章于 2021-08-25 11:37:13 发布
阅读量88 收藏
点赞数
文章标签： java 模拟登录后调用ajax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34964950/article/details/114599149
版权
这篇博客介绍了如何使用Java的HTMLUnit库进行模拟登录，并且详细展示了如何抓取页面中通过AJAX加载的数据。通过示例代码，读者可以了解HTMLUnit在网页模拟操作和爬取动态内容方面的应用。
摘要由CSDN通过智能技术生成

HtmlUnit/

HtmlUnit/.classpath

HtmlUnit/.project

HtmlUnit/.settings/

HtmlUnit/bin/

HtmlUnit/bin/com/

HtmlUnit/bin/com/peng/

HtmlUnit/bin/com/peng/spider/

HtmlUnit/bin/com/peng/spider/ApiUse.class

HtmlUnit/bin/com/peng/spider/FetchByHtmlUnit.class

HtmlUnit/lib/

HtmlUnit/lib/htmlunit-2.13/

HtmlUnit/lib/htmlunit-2.13/LICENSE.txt

HtmlUnit/lib/htmlunit-2.13/apidocs/

HtmlUnit/lib/htmlunit-2.13/apidocs/allclasses-frame.html

HtmlUnit/lib/htmlunit-2.13/apidocs/allclasses-noframe.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/AjaxController.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/AlertHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/BinaryPage.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/BrowserVersion.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/BrowserVersionFeatures.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/Cache.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/CollectingAlertHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ConfirmHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/CookieManager.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DefaultCredentialsProvider.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DefaultCssErrorHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DefaultPageCreator.PageType.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DefaultPageCreator.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DialogWindow.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DownloadedContent.InMemory.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DownloadedContent.OnFile.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/DownloadedContent.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ElementNotFoundException.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/FormEncodingType.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/History.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/HttpMethod.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/HttpWebConnection.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ImmediateRefreshHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/IncorrectnessListener.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/IncorrectnessListenerImpl.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/JavaScriptPage.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/MockWebConnection.RawResponseData.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/MockWebConnection.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/NiceRefreshHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/NicelyResynchronizingAjaxController.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ObjectInstantiationException.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/OnbeforeunloadHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/Page.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/PageCreator.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/PluginConfiguration.MimeType.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/PluginConfiguration.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/PromptHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ProxyConfig.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/RefreshHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ScriptException.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ScriptPreProcessor.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/ScriptResult.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/SgmlPage.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/SilentCssErrorHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/StatusHandler.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/StorageHolder.Type.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/StorageHolder.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/StringWebResponse.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoylesoftware/htmlunit/TextPage.html

HtmlUnit/lib/htmlunit-2.13/apidocs/com/gargoyles

隔壁蜡笔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
htmlunit-2.25-OSGi.jar包(Java无界面浏览器)官方免费版
08-01
HtmlUnit是一个强大的无界面Java浏览器，是junit的扩展之一，它提供了丰富的API，在读取页面后，您可以有效的使用htmlunit分析页面上的内容，并调用页面、填写表单、点击链接，就像您在“正常”浏览器中所作的一样。...
HtmlUnit 模拟浏览器请求 Java可以调用的内置浏览器
nece001的专栏
07-23 594
引入包： <!-- https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit --> <dependency> <groupId>net.sourceforge.htmlunit</groupId> <artifactId>htmlunit</artifactId>
HtmlUnit模仿浏览器抓取数据（含ajax）
朝花夕拾
01-27 5818
import java.io.IOException; import java.net.MalformedURLException; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException; import com
Java模拟登录并抓取数据
不积跬步，无以至千里
04-21 2020
问题：程序抓取某接口数据，前置条件必须登录。 正常抓取数据截图（预期目标数据） 解决办法： （1）找到登录接口，并利用程序抓取数据。 我这里接口是 http://192.168.1.119/blog11/login/login3.shtml?username=xxx&password=xxx (2)利用okhttp3模拟登录并抓取数据。 需要引入的jar包，okhttp-4.9.1.jar,kotlin-stdlib-1.5.0-M2.jar,okio-2.10.0.jar
java 模拟登录后调用ajax_基于ajax实现的登录
weixin_39641450的博客
02-13 264
一、需要知道的新知识点1、刷新验证码。给src属性加一个？号。加个？会重新去请求//#给验证码刷新$(".vialdCode_img").click(function() {方式一：dom方法#}$(this)[0].src+="?"#}方式二：jQuery的attr方法#}$(this).attr("src",$(this).attr("src")+'?')})})2、当登录成功跳转，或者注册成...
HtmlUnit+Jsoup的使用记录
Z-NOTE
10-30 530
文章目录HtmlUnit+Jsoup的使用记录一、软件版本二、使用记录三、其它1.HttpClient Fluent API的使用 HtmlUnit+Jsoup的使用记录 使用 HtmlUnit 对动态页面进行渲染，通过 Jsoup 解析页面内容 一、软件版本 HtmlUnit官网： http://htmlunit.sourceforge.net/ Jsoup官网： https://www....
htmlunit-2.3..zip
07-02
使用HTMLUnit进行单元测试时，你可以创建一个测试类，通过调用HTMLUnit提供的API来初始化一个WebClient对象，然后打开目标网页，查找并操作页面元素，最后检查结果是否符合预期。例如，你可以模拟点击按钮、填写表单...
htmlunit:HtmlUnit是“用于Java程序的GUI更少的浏览器”
03-30
HtmlUnit 版本2.48.0 / 2021年3月20日 ... 它具有相当不错JavaScript支持（正在不断改进），并且甚至可以与非常复杂的AJAX库一起工作，根据所使用的配置来模拟Chrome，Firefox或Internet Explorer。 HtmlUnit通
htmlunit-2.8(api文档).zip
12-14
HTMLUnit是一个Java库，专为自动化网页测试和模拟浏览器行为而设计。它作为一个无头（headless）浏览器，能够执行JavaScript，处理AJAX，以及与网页进行交互，而无需实际打开一个图形用户界面。这个“htmlunit-2.8...
针对 httpclient4.* 绕验证码获取公司信息 包括 jsoup网页信息的爬虫及htmlUnit对动态网站信息的抓取
04-20
3. **HtmlUnit**: HtmlUnit是一个无头（headless）Web客户端库，它可以模拟浏览器的行为，包括JavaScript执行、CSS处理、AJAX调用等。与Jsoup相比，HtmlUnit更适用于处理有复杂交互的动态网页，因为它可以执行...
HtmlUnit动态执行js函数
热门推荐
医疗影像检索
03-11 1万+
功能：动态指定js函数，实际上这个效果不是很有用，这里就做一个记录而已，参考代码如下： package com; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.ScriptResult; import com.gargoylesoftware.htmlunit.
java使用htmlunit+Jsoup爬虫，爬取ajax动态数据
weixin_45351390的博客
08-25 1503
先贴一段代码 WebClient web = new WebClient(BrowserVersion.FIREFOX_38); try { long startTime = System.currentTimeMillis(); //获取开始时间 web.getOptions().setJavaScriptEnabled(true); //启用JS解释器，默认为true web.setJavaScriptTime
Java利用HtmlUtil获取页面ajax渲染数据
马句
03-10 1953
一、序言 很久没更新博客，最近由于开发需求又将之前很久不用的抓取捡起来了 发现只是单纯的httpclient获取一些页面得不到想要的数据 虽然我们可以通过研究拿到JS执行的请求路径再用java代码获取我们需要的这部分数据，且不说我们能不能够从JS脚本中分析到这个请求路径和请求参数，光是分析这部分源码的代价就已经很高了，在我分析了一段时间后放弃了 于是使用了htmlunit模拟浏览器操作来获...
htmlunit使用
玫瑰小妖
06-18 347
HtmlUnit使用 package com.lanyotech.www.wordbank; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.MalformedU...
HtmlUnit执行自定javascript脚本并回调java方法
JackCen
09-18 3867
import org.openqa.selenium.JavascriptExecutor; import org.openqa.selenium.WebDriver; import org.openqa.selenium.htmlunit.HtmlUnitDriver; import org.openqa.selenium.support.ui.ExpectedCondition; import...
浏览器HTML抓取,HtmlUnit模仿浏览器抓取数据（含ajax）
weixin_29216957的博客
05-31 268
import java.io.IOException;import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.BrowserVersion;import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;import com.garg...
HtmlUnit：模拟真实浏览器的Java测试工具
HtmlUnit是一种高效的Java API，专为测试Web应用程序而设计，被描述为"GUI-Less browser for Java programs"，它旨在模拟真实浏览器的行为以进行自动化测试。其核心功能包括： 1. 发送HTTP请求：HtmlUnit能够模拟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值