htmlunit 设置cookis

最新推荐文章于 2021-06-07 15:40:59 发布
最新推荐文章于 2021-06-07 15:40:59 发布
阅读量257 收藏
点赞数
文章标签： 爬虫 python
原文链接：https://my.oschina.net/xiaominmin/blog/1598498
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

htmlunit 设置cookis 博客分类： 搜索引擎，爬虫 
com.gargoylesoftware.htmlunit.util.Cookie cookie = new com.gargoylesoftware.htmlunit.util.Cookie("www.xx.com", en.getKey(), en.getValue());
					
					webClient.getCookieManager().addCookie(cookie);

 

转载于:https://my.oschina.net/xiaominmin/blog/1598498

weixin_34080903
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
html 操作cookie,HtmlUnit 模拟浏览器以及Cookie使用示例
weixin_28930859的博客
06-29 981
最近写爬虫的时候，利用httpclient抓取一些网页出现一些问题，就是抓取回来的内容都含有大量的加密文本(通过javascript脚本)，无法获得真实的内容(也就是用浏览器打开网页呈现的内容)。所以，一般需要配合js引擎来解决这个问题，搜索了下，发现htmlunit这个工具就可以帮忙。了解和使用过程中，发现这是一个非常牛逼的开源工具，虽然名气比httpclient小，但是实力绝对不容小觑。 闲话...
htmlunit模拟cookie登录
12-01
htmlunit 模拟cookie 存取 cookie值登录 如： wsyyuser.xywy.com Cookie c = new Cookie("wsyyuser.xywy.com", "PHPSESSID", Common.getValue("session_id") );
HtmlUnit 模拟浏览器以及Cookie使用示例
xiaomin1991222的专栏
08-12 505
String url="http://outofmemory.cn/";//想采集的网址 String refer="http://outofmemory.cn/"; URL link=new URL(url); WebClient wc=new WebClient(); WebReque...
HtmlUtil访问网页时加入cookie
Fjiaer的博客
03-12 1049
HtmlUtil访问网页时加入cookie问题描述解决方法代码 问题描述 在使用HtmlUtil访问网页时，网页需要验证session才能正常访问，否则无法正常访问。 解决方法 直接使用.addCookie方法添加 第一个参数是添加的cookie，第二个参数是一个URL类型，第三个暂时不知道 WebClient wc = new WebClient(BrowserVersion.CHROME); URL url1 = new URL(url); wc.addCookie("JSESSIONID = " +
htmlunit-2.33
10-27
在进行实际项目时，可以利用HTMLUnit提供的API创建WebClient实例，设置各种浏览器参数，然后访问URL，获取页面内容。之后，可以使用XPath或CSS选择器来定位页面元素，执行点击、输入等操作。此外，HTMLUnit还可以...
htmlunit-2.1.5源码
03-18
深入研究这些源代码，我们可以学习如何自定义WebClient的行为，例如设置请求头、处理Cookie，或者如何捕获和分析JavaScript执行过程中的错误。同时，了解HTMLUnit内部的工作机制也能帮助我们在编写自动化脚本时避免...
htmlunit参考文档
07-21
3. **Cookie管理**：它可以处理和存储服务器发送的Cookie，实现会话保持。 4. **JavaScript支持**：HTMLUnit内置了 Rhino JavaScript引擎，可以执行复杂的JavaScript代码，与网页交互。 5. **异常处理**：当遇到...
htmlunit-2.27-src.zip
09-13
5. **模拟浏览器组件**：HTMLUnit模拟了浏览器的一些关键组件，如DOM解析器、网络通信模块、Cookie管理器等，使得它可以处理复杂的网页交互。 6. **单元测试**：源码包中通常会包含大量的单元测试，这些测试用例...
html加cookie强制,如何将Cookie添加到HtmlUnit请求标头？
weixin_39531992的博客
06-07 501
我正在尝试访问网站，但无法将收集到的“ Cookie”添加到传出的POST请求标头中。我已经能够验证它们是否存在于CookieManager中。HtmlUnit的任何替代方法也将不胜感激。public static void main( String[] args ){// Turn off logging to prevent polluting the output.Logger.getLog...
Cookie又见Cookie－使用HtmlUnit/HttpClient中遇到的问题
Eddyx的专栏
09-10 5627
    想试试HtmlUnit在测试网页上的表现，访问一个网页跳转到下一个网页之后，总是返回在server上找不到的页面，用IE访问就是好的。 另外有个奇怪的现象，在IE访问网页之后，再run写好的HtmlUnit代码就能顺利通过。关了IE之后，10分钟左右，代码都能通过。超过这个时间之后，就怎么折腾也通不过。    根据这个现象分析，感觉很象是cookie在捣鬼。cookie有效的时候，Html
Htmlunit获取页面cookie的用法
qq_28848301的博客
01-30 4663
通过Htmlunit获取cookie Htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速,是junit的扩展之一,它的用法很多，本文只简单的介绍如何通过它来获取页面返回的cookie。 Htmlunit 的官网：http://htmlunit....
使用HtmlUnit做爬虫
无极的博客
11-29 1376
一 概述       HttpClient适合处理静态资源，网络爬虫等类似应用很大程度需要处理动态网页（内容有js填充，如百度图片，body里基本没有数据，碰到最麻烦的是新浪微博列表页）。将网页下载后，结合JS和Dom模型还原网页，我目前还未攻破，但在下载层还原网页，HtmlUnit是一种解决方案，虽然对JS的支持还是不完美。     HtmlUnit其实是自动化测试工具，集成了
使用htmlunit工具来实现对新浪的模拟登录获取cookie操作（也可适用其他网站，最好是无验证码的）
m0_37300802的博客
01-12 5093
1.了解htmlunit，是一个页面分析工具，你可以调用他的方法，模拟出对浏览器的基本操作。你能通过加载设置，来实现其他网页链接方法如jsoup，httpclien不支持对页面内js运行的操作。2.基本操作 使用htmlunit模拟登录，就是一个获取登录页面->找到输入框->填入用户名密码->模拟点击登录就完事的过程。 3.代码 先通过pom文件引入需要的jar包。 去maven官网
htmlunit模拟浏览器实现163邮箱自动登录
热门推荐
医疗影像检索
05-23 1万+
对于表单隐藏在js内，需要解析js并动态加载网页，找了很多组件，包括httpunit，后来试验htmlunit通过。感觉httpunit还是比htmlunit差点，所以建议用htmlunit来解析js动态加载的网页并自动提交表单。对于模拟浏览器的htmlunit组件还是有很多需要挖掘，这样才能试验不同网站的通用性解析。htmlunit基础代码如下： package gddx; import j
htmlunit 模拟指定浏览器
huangbaokang的博客
02-23 1139
前面我们的测试代码是直接请求的，有些网站服务器防火墙会直接拒绝访问。 我们现在用htmlunit来模拟下浏览器请求；主要是加了一些头消息； 这个是我们用谷歌调试工具看到的请求头小心里的属性，当然上面还有返回的头消息； 我们用htmlunit可以模拟浏览器执行，内置的可以模拟IE，火狐，谷歌； WebClient构造方法里有个重载方法，可以加一个指定版本属性； 完整代码： pac...
htmlunit 设置cookie
最新发布
07-27
要在HtmlUnit中设置cookie，你可以使用`WebClient`类的`getCookieManager()`方法来获取`CookieManager`对象，并通过`addCookie()`方法添加cookie。 下面是一个示例代码，展示了如何设置cookie： ```java import com.gargoylesoftware.htmlunit.CookieManager; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.util.Cookie; public class HtmlUnitCookieExample { public static void main(String[] args) throws Exception { // 创建WebClient对象 WebClient webClient = new WebClient(); // 获取CookieManager对象 CookieManager cookieManager = webClient.getCookieManager(); // 创建一个Cookie对象 Cookie cookie = new Cookie("example.com", "cookie_name", "cookie_value"); // 将Cookie添加到CookieManager中 cookieManager.addCookie(cookie); // 执行其他操作，如模拟登录等 // 关闭WebClient webClient.close(); } } ``` 在上面的示例中，我们使用`new Cookie()`方法创建了一个`Cookie`对象，并将其添加到`CookieManager`中。你需要将"example.com"替换为你要设置cookie的域名，"cookie_name"和"cookie_value"分别替换为你要设置的cookie的名称和值。 请注意，这只是一个基本的示例，实际情况中可能需要更多的设置和配置。具体的设置可能会因网站的要求而有所不同，你可能需要提供更多的参数，如路径、过期时间等。 希望这个示例对你有帮助！如果你还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值