使用HtmlUnit抓取百度搜索结果

最新推荐文章于 2021-03-11 16:47:38 发布
最新推荐文章于 2021-03-11 16:47:38 发布
阅读量5.5k 收藏 2
点赞数
文章标签： 百度 浏览器 button bt date chrome
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wander754085/article/details/7892993
版权
本文介绍了如何利用HtmlUnit库来实现对百度高级新闻搜索的功能，特别是针对指定时间段的新闻搜索。在操作过程中，关键在于识别并设置隐藏的bt和et参数，它们表示用户选择的时间段相对于1970-1-1的时长，添加这两个参数才能正确获取到所需时间段的新闻数据。
摘要由CSDN通过智能技术生成

       htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。这个没有界面的浏览器，运行速度也是非常迅速的。相关文件下载地址： http://sourceforge.net/projects/htmlunit/files/  （依赖的包略多 微笑）

      我的需求是使用百度的高级新闻搜索，抓取指定时间段的新闻，手动搜索的设置如图所示：

      

         通过htmlunit可以方便地操作网页中的form和各类的input控件ÿ

最低0.47元/天 解锁文章
wander754085
关注
Java利用HtmlUtil获取页面ajax渲染数据
马句
03-10 1994
一、序言 很久没更新博客，最近由于开发需求又将之前很久不用的抓取捡起来了 发现只是单纯的httpclient获取一些页面得不到想要的数据 虽然我们可以通过研究拿到JS执行的请求路径再用java代码获取我们需要的这部分数据，且不说我们能不能够从JS脚本中分析到这个请求路径和请求参数，光是分析这部分源码的代价就已经很高了，在我分析了一段时间后放弃了 于是使用了htmlunit模拟浏览器操作来获...
java使用htmlunit爬取百度搜索信息
白开水_Arvin的博客
12-01 2971
在maven项目里添加所需的开源包，这里我使用2.23版本 <dependency>            <groupId>net.sourceforge.htmlunit</groupId>           <artifactId>htmlunit</artifactId>           <version>2...
使用HtmlUnit登录百度
weixin_30595035的博客
09-22 128
环境 java 1.7 HtmlUnit 2.18 eclipse 4.4.2 maven 配置： <dependency> <groupId>net.sourceforge.htmlunit</groupId> <artifactId>htmlunit</artifactId&...
htmlunit简单百度搜索，网页解析
weixin_30629653的博客
01-08 123
package com; import java.io.IOException; import java.net.MalformedURLException; import java.util.List; import java.util.Timer; import java.util.TimerTask; import org.apache.regexp.recompil...
使用htmlunit 获取百度新闻搜索结果的url
zjjee的专栏
11-06 3525
public class baiduNewsPost { public static void main(String args[]) throws FailingHttpStatusCodeException, MalformedURLException, IOException, InterruptedException { final WebClient webclient
java 爬取百度云盘,百度网盘资源抓取 爬虫
weixin_28737603的博客
03-10 2548
【实例简介】简要实现了百度网盘资源的抓取，以及定时抓取，百度分享用户的抓取以及资源抓取，booststrap 页面【实例截图】【核心代码】da0a5e77-e599-4f8f-829f-edbec174245e└── springTimer├── src│ ├── com│ │ ├── baidu│ │ │ ├── data│ │ │ │ ├── GetUk...
htmlunit爬取数据
qq_40918324的博客
11-17 1109
HtmlUnit是一个“java程序的浏览器”。它为html文档建模，提供了一个API，允许您调用页面、填写表单、点击链接等，就像你在“正常”浏览器里做的一样。他有相当好的JavaScirpt支持（不断改进），甚至可以使用相当复杂的AJAX库，模拟Chrome、Firefox或Internet Explorer,这取决于所使用的配置。他通常用于测试的目的或从web站点检索信息。       下面
java 爬虫 抓取关键字_爬虫任务二：爬取(用到htmlunit和jsoup)通过百度搜索引擎关键字搜取到的新闻标题和url，并保存在本地文件中（主体借鉴了网上的资料）...
weixin_29479087的博客
03-05 817
packagecom.zhaowu.renwu2;importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.net.MalformedURLException;importjava.net.URL;import...
baidu_spider:一个用BeautifulSoup写的简单的爬取百度搜索结果的爬虫
05-19
baidu_spider 一个用BeautifulSoup写的简单的爬取百度搜索结果的爬虫
htmlunit-driver:适用于HtmlUnit无头浏览器的WebDriver兼容驱动程序
04-30
HtmlUnitDriver HtmlUnitDriver是适用于无头浏览器的WebDriver兼容驱动程序。 消息 下载及安装 Maven / Gradle / ... 添加对Maven Central中可用的最新htmlunit-driver版本的依赖关系，请注意，更改了artifactId和version以匹配依赖的HtmlUnit版本： < dependency> < groupId>org.seleniumhq.selenium</ groupId> < artifactId>htmlunit-driver</ artifactId> < version>2.49.1</ version> </ dependency> 用法 简单的 您可以简单地使用HtmlUnit驱动程序类中的构造函数之一 // simple case - no j
爬虫模拟百度搜索，网页解析
09-22
htmlunit模拟百度搜索，模拟点击，共3个类，SptCore是浏览器操作，SpiderChoice是选择器样板，ParseDocument是String和URL转Docment对象,里面加入安全转化，里面加入jsoup，操作简单，语法和jquery类似，特别适合新手，大神勿喷
java htmlunit爬虫javascript爬坑-今日头条搜索操作
NaXieNianYiShiGuJi的专栏
03-11 852
HtmlUnit-JavaScript爬坑 源码地址：https://download.csdn.net/download/NaXieNianYiShiGuJi/15729089简介 HtmlUnit是一个无界面浏览器Java程序。它为HTML文档建模，提供了调用页面、填写表单、单击链接等操作的API。就跟你在浏览器里做的操作一样。 HtmlUnit不错的JavaScript支持(不断改进)，甚至可以使用相当复杂的AJAX库，根据配置的不同模拟Chrome、Firefox或Intern...
今日头条 爬虫 java_Java爬虫实践：Jsoup+HttpUnit爬取今日头条、网易、搜狐、凤凰新闻...
weixin_39996750的博客
02-24 802
0x0 背景最近学习爬虫，分析了几种主流的爬虫框架，决定使用最原始的两大框架进行练手：Jsoup&HttpUnit其中jsoup可以获取静态页面，并解析页面标签，最主要的是，可以采用类似于jquery的语法获取想要的标签元素，例如：//1.获取url地址的网页htmlhtml = Jsoup.connect(url).get();// 2.jsoup获取新闻标签Elements newsA...
【转】对于HttpClient和HtmlUnit的理解
weixin_34107739的博客
03-27 393
原文地址：http://www.haohaoblog.com/?p=1327&utm_source=tuicool 做Java编程的人其实，很多不懂SEO，也不知道如何让百度收录等等，当然，对于爬虫，网页抓取，也不是所有编程的人有考虑到，但是专门做这个人，还是需要了解一下这里面的知识的，那下面就来介绍一下一些爬虫和网页采集相关的组件和插件吧~ 大家在做爬虫、网页采集、通过网页自动...
通过Htmlunit操作模拟百度查询接口的填写与提交
疯狂小羊的博客
11-28 2266
很多时候对于一个页面，我们希望通过代码来完成查询的操作，这也是属于集成系统的一部分，怎么把总接口的查询条件与查询关键字分发到各个子查询接口。举个例子，现在要模拟通过百度的首页来查询“暨南大学”这个关键字得到的查询结果，这时候我们希望代码帮我们填写百度的那个查询接口，然后模拟点击“百度一下”，最后返回我们所需查询的页面内容。可能很多的工具可以实现这个功能，但是在所有工具当中，我觉得Htmlunit是
2.GET方法抓取百度首页
哥白尼-
06-01 1825
1.GET方法抓取百度首页 目标： —熟悉HTTP通信基本过程 —实现requests库的get方法抓取百度首页 —学会查看相应的基本内容HTTP通信过程： 实现思路： —安装requests库：（CMD）pip install requests —确定目标URL —使用requests.get()方法请求百度首页 —查看响应的全部内容、头部和状态码(https://zhidao.baidu...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值