【转】WebHavrest使用分享

最新推荐文章于 2024-06-03 12:00:36 发布
最新推荐文章于 2024-06-03 12:00:36 发布
阅读量1k 收藏
点赞数
文章标签： java 脚本 list encoding url xml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hsnxyc/article/details/6493017
版权

需要使用爬虫这个东西，所以我研究了一下子这个东西。
WebHarvest是个挺强大的爬虫，主要不是在Java代码那块使用，而是需要写脚本。
现在对WebHarvest这个配置的语法也不是很熟，只是写写使用经验。

外话:虽然我很烦写脚本，不过用着用着，我也觉得脚本的好处，发现脚本粘合性用在项目中也是很不错的。

可以到www.webharvest.org网上下载jar包。
其中还有一个方便调试的脚步本的工具： 


 
下载这个文件，可以双击，也可以使用java -jar 命令打开。
软件如下:



也可以使用代码执行脚本:
 

Java代码 复制代码
  1. //输入配置文件名   
  2. String scriptFile = "c:/mumu/tmp/webharvest/test2.xml";   
  3. //输入内容的存放文件夹路径   
  4.         String outDirectory = "c:/mumu/tmp/webharvest";   
  5.         ScraperConfiguration config = new ScraperConfiguration(scriptFile);    
  6.         Scraper scraper = new Scraper(config, outDirectory);    
  7.         scraper.setDebug(true);    
  8.            
  9.         long startTime = System.currentTimeMillis();    
  10.         scraper.execute();    
  11.         System.out.println("time elapsed: " + (System.currentTimeMillis() - startTime));   

//输入配置文件名
String scriptFile = "c:/mumu/tmp/webharvest/test2.xml";
//输入内容的存放文件夹路径
		String outDirectory = "c:/mumu/tmp/webharvest";
        ScraperConfiguration config = new ScraperConfiguration(scriptFile); 
        Scraper scraper = new Scraper(config, outDirectory); 
        scraper.setDebug(true); 
        
        long startTime = System.currentTimeMillis(); 
        scraper.execute(); 
        System.out.println("time elapsed: " + (System.currentTimeMillis() - startTime));



现在开始编写配置文件:
 

Java代码 复制代码
  1. <?xml version="1.0" encoding="utf-8"?>   
  2.   
  3. <config charset="utf-8">   
  4. 　　<var-def name="start">   
  5.     　　<html-to-xml>   
  6.     　　  <http url="http://www.tianya.cn/bbs/index.shtml" charset="utf-8" />   
  7.     　　</html-to-xml>   
  8. 　　</var-def>   
  9. 　　<var-def name="ulList">   
  10.     　　<xpath expression="//div[@class='bankuai_list']">   
  11.     　　  <var name="start" />   
  12.     　　</xpath>   
  13. 　　</var-def>   
  14. 　　<file action="write" path="tianya/siteboards.xml" charset="utf-8">   
  15. 　　<![CDATA[ <site> ]]>   
  16. 　　<loop item="item" index="i">   
  17.     　　<list><var name="ulList"/></list>   
  18.     　　<body>   
  19.         　　<xquery>   
  20.             　　<xq-param name="item">   
  21.             　　<var name="item"/>   
  22.             　　</xq-param>   
  23.             　　<xq-expression><![CDATA[   
  24.                 　　declare variable $item as node() external;    
  25.                     <board boardname="{normalize-space(data($item//h3/text()))}" boardurl="">   
  26.                 　　{   
  27.                 　　for $row in $item//li return   
  28.                 　　<board boardname="{normalize-space(data($row//a/text()))}" boardurl="{normalize-space(data($row/a/@href))}" />   
  29.                 　　}   
  30.                 　　</board>   
  31.             　　]]></xq-expression>   
  32.         　　</xquery>   
  33.     　　</body>   
  34. 　　</loop>   
  35. 　　<![CDATA[ </site> ]]>   
  36. 　　</file>   
  37. </config>  

<?xml version="1.0" encoding="utf-8"?>

<config charset="utf-8">
　　<var-def name="start">
	　　<html-to-xml>
	　　	<http url="http://www.tianya.cn/bbs/index.shtml" charset="utf-8" />
	　　</html-to-xml>
　　</var-def>
　　<var-def name="ulList">
	　　<xpath expression="//div[@class='bankuai_list']">
	　　	<var name="start" />
	　　</xpath>
　　</var-def>
　　<file action="write" path="tianya/siteboards.xml" charset="utf-8">
　　<![CDATA[ <site> ]]>
　　<loop item="item" index="i">
	　　<list><var name="ulList"/></list>
	　　<body>
		　　<xquery>
			　　<xq-param name="item">
			　　<var name="item"/>
			　　</xq-param>
			　　<xq-expression><![CDATA[
				　　declare variable $item as node() external; 
					<board boardname="{normalize-space(data($item//h3/text()))}" boardurl="">
				　　{
				　　for $row in $item//li return
				　　<board boardname="{normalize-space(data($row//a/text()))}" boardurl="{normalize-space(data($row/a/@href))}" />
				　　}
				　　</board>
			　　]]></xq-expression>
		　　</xquery>
	　　</body>
　　</loop>
　　<![CDATA[ </site> ]]>
　　</file>
</config>



输出结果我就不打印出来了，这个脚本例子是网上的。

先简单地说一个这个配置文件的写法
<var-def name="a">abc</var-def>
这里定义了一个a 变量标签的内容就是a的值。
现在a的值就是abc。

然而如果我现在需要爬baidu的页面，就需要先将http://www.baidu.com这个页面给下载下来先。
可以使用标签
<http url="www.baidu.com"  charset="utf-8" />
这个标签将代码返回下载下来所有的页面代码，此时需要有一个变量去存起来，可以使用
 

Java代码 复制代码
  1. <var-def name="baiduall">   
  2.   <http url="www.baidu.com"  charset="utf-8" />   
  3. </var-def>  

<var-def name="baiduall">
  <http url="www.baidu.com"  charset="utf-8" />
</var-def>


需要抓内容的必须将html转成xml,这样可以方便以DOM 的方式去定位信息内容。
现在可以使<html to xml标签.

 

Java代码 复制代码
  1. <var-def name="baiduall">   
  2.   <http url="www.baidu.com"  charset="utf-8" />   
  3. </var-def>   
  4. <var-def name="baiduxml">   
  5.    <html-to-xml>   
  6.      <var name="baiduall" />   
  7.    </html-to-xml>   
  8. </var-def>  

<var-def name="baiduall">
  <http url="www.baidu.com"  charset="utf-8" />
</var-def>
<var-def name="baiduxml">
   <html-to-xml>
     <var name="baiduall" />
   </html-to-xml>
</var-def>



上边的代码先使用<var标签去引用这baiduall变量。再使用<html-to-xml>标签处理
然后用baiduxml变量存放转成xml后的内容。
这里只是为了演示这个功能，其实可以简化成如下代码:

 

Java代码 复制代码
  1. <var-def name="baiduxml">   
  2.    <html-to-xml>   
  3.      <http url="www.baidu.com"  charset="utf-8" />   
  4.    </html-to-xml>   
  5. </var-def>  

<var-def name="baiduxml">
   <html-to-xml>
     <http url="www.baidu.com"  charset="utf-8" />
   </html-to-xml>
</var-def>


这代码与上边代码意义相同。

先在这里介绍最简单的用法，时间关系，我会日后与大家分享更多的功能方式讨论。
以后再讨论:
包括使用XPath定位与用js处理代码，<file标签输出到文件中，或是将数据在转到java对象中。

  • 大小: 3.2 KB

除了使用上述方法外，还可以使用将不页的数据输出到不同的结构化好的XML文件里面，

然后再进行读取的方法：

    配置文件：

   

Xml代码 复制代码
  1. <var-def name="targetUrl">http://www.51zyr.com/tpl/index/hotel_list_web.do</var-def>    
  2.          
  3.       <var name="page_num"/>    
  4.          
  5.        <file action="write" path="hotel_page${page_num}.xml">       
  6.              
  7.          <template>  
  8.              <![CDATA[ <root> ]]>  
  9.          </template>        
  10.                  
  11.        <loop item="item" index="i">  
  12.          <list>  
  13.             <xpath expression="//table[@background='../images/dotline.gif'][1]/tbody/tr">  
  14.                <html-to-xml>  
  15.                   <http url="${targetUrl}?pages=${page_num}"/> //这里根据从JAVA文件传过来的参数进行不同页面的查询抓取   
  16.                </html-to-xml>  
  17.            </xpath>             
  18.          </list>  
  19.          <body>         
  20.               <xquery>  
  21.                    <xq-param name="item">  
  22.                        <var name="item"/>  
  23.                    </xq-param>  
  24.                    <xq-expression><![CDATA[  
  25.                        declare variable $item as node() external;  
  26.                          
  27.                        let $num := data($item//td[1])  
  28.                        let $name := data($item//td[2])  
  29.                        let $star := data($item//td[3])  
  30.                        let $address := data($item//td[4])  
  31.                        let $telephone := data($item//td[5])  
  32.                            return  
  33.                                <hotel>  
  34.                                    <num>{data($num)}</num>  
  35.                                    <name>{data($name)}</name>  
  36.                                    <star>{data($star)}</star>  
  37.                                    <address>{data($address)}</address>  
  38.                                    <telephone>{data($telephone)}</telephone>  
  39.                                </hotel>  
  40.                    ]]></xq-expression>  
  41.                </xquery>  
  42.                  
  43.          </body>  
  44.        </loop>  
  45.         <![CDATA[ </root> ]]>  
  46.             </file>  

       

   接着是JAVA文件里面的关键代码：

   

Java代码 复制代码
  1. public void QueryPath(int num)    
  2.     {   
  3.            try{   
  4.             ScraperConfiguration config = new ScraperConfiguration("traveldata/config/hotel.xml");   
  5.             Scraper scraper = new Scraper(config, "traveldata/output/hotel");   
  6.                
  7.             scraper.addVariableToContext("page_num", new String(""+num));    
  8.                
  9.             scraper.setDebug(true);   
  10.             long starttime = System.currentTimeMillis();   
  11.             scraper.execute();   
  12.             long endtime = System.currentTimeMillis();   
  13.             System.out.println("Spent time:"+(endtime - starttime));         
  14.                
  15.             saveHotel(num);   
  16.                
  17.            }   
  18.            catch(Exception e)   
  19.            {   
  20.                e.printStackTrace();   
  21.            }   
  22.     }   
  23.   
  24.   public void getContent(int pageNum)  //循环调用   
  25.     {   
  26.         for(int i=1;i<=pageNum;i++)   
  27.         {   
  28.             QueryPath(i);   
  29.         }   
  30.     }  

出自http://www.javaeye.com/topic/570216

hsnxyc
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
webharvest_all_2.jar
12-07
webharvest_all_2.jar
webharvest1-bin.zip
07-06
webharvest是一个开源的java桌面程序，能够从论坛、网站上下载定制你自己想要的东西。因为开源，所以很好用，同时也是一个学习java和xml的好东西
WebHavrest使用分享(一)
沐沐流...
01-14 116
需要使用爬虫这个东西，所以我研究了一下子这个东西。 WebHarvest是个挺强大的爬虫，主要不是在Java代码那块使用，而是需要写脚本。 现在对WebHarvest这个配置的语法也不是很熟，只是写写使用经验。 外话:虽然我很烦写脚本，不过用着用着，我也觉得脚本的好处，发现脚本粘合性用在项目中也是很不错的。 :D 可以到www.webharvest.org网上下载jar包。 ...
基于web-webhavrest抓取百度搜索结果
iteye_12232的博客
09-22 121
由于公司业务需要，需要做一个关键词信息抓取程序，就利用web-webharvest做了一个抓取程序。java程序：import java.io.IOException;import org.webharvest.definition.ScraperConfiguration;import org.webharvest.runtime.Scraper;public class BaiduQ {pub...
进阶2 探索图形化编程：扩展图形组件与切片开发的魅力
优树搭的博客
05-30 1498
当这些切片成功地通过图形程序串联起来后，在后续进行程序升级或维护时，大家会惊喜地发现，图形程序就如同清晰的路标一般，可以非常便捷地通过图形程序准确地定位到相关切片，并对这些切片进行在线查看、编辑和执行等操作。而且，这些切片的代码长度通常不会太长，相比传统开发的代码，阅读起来要容易得多，这无疑会给系统后续的工作带来极大的便利。
JAVAEE之多线程进阶（2）_ CAS概念、实现原理、ABA问题及解决方案
2301_80653026的博客
05-29 1532
CAS全称Compare and swap，字面意思:”比较并交换“，它是一条 CPU 并发原语，用于判断内存中某个值是否为预期值，如果是则更改为新的值，这个过程是原子的。全称 Compare and swap, 即 “比较并交换”. 相当于通过一个原子的操作, 同时完成 “读取内存, 比较是否相等, 修改内存” 这三个步骤. 本质上需要 CPU 指令的支撑。
operator ＜=＞ (spaceship operator)
janeqi1987的专栏
05-28 1063
= 与!= 操作符为了检查是否相等，现在定义== 操作符就够了。当编译器找不到表达式的匹配声明a!=b 时，编译器会重写表达式并查找!(a==b)。若这不起作用，编译器也会尝试改变操作数的顺序，所以也会尝试!(b==a):a!=b,!(b==a)因此，对于TypeA 的a 和TypeB 的b，编译器将能够识别并编译a!= b若需要的话，可以这样做• 一个独立函数operator!• 一个独立函数operator==(TypeA, TypeB)
Java 异常处理中try-catch块、finally子句以及自定义异常的使用
Itmastergo的博客
05-31 898
异常是程序运行过程中出现的非正常情况。Java 使用异常类（Exception 类及其子类）来表示这些异常情况。异常处理的核心思想是将正常的程序流程与异常处理流程分离开来，使代码更加清晰和可维护。Throwable 类：所有异常和错误的基类。Error 类：表示系统级的错误，程序通常无法处理，比如内存不足（OutOfMemoryError）。Exception 类：表示程序中可以处理的异常情况。RuntimeException 类。
Java手动启动jar包
liangweihao的博客
05-29 366
【代码】Java手动启动jar包。
java调用cmd执行命令
weixin_45210565的博客
05-28 321
3、exec(String command, String[] envp) ，在调用外部程序之前设置系统环境变量，该变量仅供command入参使用，envp每个元素为一个系统环境变量，并且字符串格式为“环境变量名=环境变量值”。2、exec(String[] cmdArray) ，调用外部程序，入参cmdArray的元素将组合成为一条完整的外部可执行程序的启动路径或命令。1、exec(String command) ，调用外部程序，入参command为外部可执行程序的启动路径或命令。
Java面向数据编程1.1版本
极道Jdon的技术博客
05-28 521
虽然将所有这些方法都集中在 Item 上似乎是合理的，因为它们都与购买流程交互，但增加了 predictLowStock（与基于机器学习的预购系统交互）、registerForRecommendations（另一个 ML 系统，这次是物品建议）和 reportPurchase（登记潜在危险物品的购买），让我们怀疑所有这些操作是否真的属于同一个接口。：这是不同上下文场景的方式，放在Item一个类或接口中肯定不对，如同学生借书，将借书这个动作建模在学生这个类或接口一样，借书时一种具体场景。
java多线程创建方式
weixin_57763462的博客
05-28 1123
这种方式是通过创建一个实现了Runnable接口的类，并实现run()方法来创建线程。然后将这个类的对象作为参数传递给Thread类的构造器，并调用Thread对象的start()方法来启动线程。这种方式是通过创建一个实现了Callable接口的类，实现call()方法，并使用FutureTask或者ExecutorService来创建线程。这种方式的优点在于，由于Java不支持多重继承，如果你的类需要继承其他类，那么实现Runnable接口将是唯一的选择。// 在这里定义线程的执行逻辑。
Redis学习笔记【基础篇】
qq_42192253的博客
05-30 1054
这样以来，我们就可以把不同类型的数据区分开了。从而避免了key的冲突问题。HSET key field value：添加或者修改hash类型key的field的值。获取sorted set 中的指定元素的排名：ZRANK key member。HGET key field：获取一个hash类型key的field的值。通过给key添加前缀加以区分，不过这个前缀不是随便加的，有一定的规范。HMSET：批量添加多个hash类型key的field的值。HMGET：批量获取多个hash类型key的field的值。
C语言基础——数组
2302_80177460的博客
05-27 1086
C语言基础——字符串与数组及部分操作符-CSDN博客），这里再简单说明一下吧。我们都知道，如果我们在C语言中想要创建很多个变量，如果是一个一个创建的话那效率太低下了，这个时候或许会有人想到用循环来搞定，但是我们再细想想，如果用循环来表示的话我们应该把这组数据储存在哪里呢，如果只是创建一个变量的话那么后一次循环会覆盖掉前一次循环，但是如果创建很多个变量的话又不好在循环之中插入，这个时候我们便可以使用我们心心念念的数组啦。我们这一章节就来具体看看数组到底是什么吧。
【JAVA |String类】JAVA中的String类常见用法详解
YKX0000的博客
05-30 918
在JAVA中的字符串存储是可以直接使用String这个引用数据类型，不像C语言表示字符串只能使用字符数组或者字符指针，使我们操作起来更方便，更符合不符合面相对象的思想。
继承与无参构造器
2301_79842503的博客
05-30 237
在Java中，当你创建一个子类的实例时，如果子类构造函数没有显式地调用父类的构造函数，那么编译器会自动插入一个对父类无参构造函数的调用（如果父类中存在这样的构造函数）。这是Java中构造函数链式调用的一个基本规则，确保父类在子类之前被正确初始化。这个过程是Java中对象初始化的一个重要部分，确保在子类访问或修改从父类继承的任何状态之前，父类已经完成了其自己的初始化。的构造函数内部，你输出了"Student()无参构造器后执行了"，这是在。的构造函数执行之后发生的。的构造函数执行之前，编译器会自动先调用。
java如何实现请求
最新发布
m0_75032658的博客
06-03 103
如果你想要向数据库发送请求（如查询、更新等），你可以使用Java的JDBC（Java Database Connectivity）API。在Java中，实现请求通常指的是通过网络发送HTTP请求到服务器，或者通过其他协议（如JDBC）向数据库发送请求。注意：在使用Apache HttpClient之前，你需要将其添加到你的项目中。是Java标准库中的一个类，它允许你发送HTTP请求并接收响应。以下是一个简单的示例，展示如何使用。请注意，对于数据库连接，你需要添加相应的JDBC驱动依赖到你的项目中。
Servlet搭建博客系统
Smarmot的博客
05-31 645
现在我们可以使用Servlet来搭建一个动态(前后端可以交互)的博客系统.(使用Hexo只能实现一个纯静态的网页,即只能在后台自己上传博客)
Java实现AES，DES，RSA加密
编写博客，学习交流
05-29 422
这个标准用来替代原先的DES,AES加密过程涉及到4种操作，分别是字节替代、行移位、列混淆和轮密钥加。解密过程分别为对应的逆操作。由于每一步操作都是可逆的，按照相反的顺序进行解密即可恢复明文。加解密中每轮的密钥分别由初始密钥扩展得到。算法中16个字节的明文、密文和轮密钥都以一个4x4的矩阵表示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值