web-harvest 采集"腾讯读书“ 小说

web-harvest 是啥就不做介绍了，采集火影漫画的里面有下载链接。

http://blog.csdn.net/wind_324/article/details/6271412

样例抓取的是郭敬明的《1995-2005夏至未至》，简单看了下其他书籍的格式，基本上可以通用采集book.qq.com（未测试）。

废话少说，下面看配置文件。

<?xml version="1.0" encoding="GB2312"?>

<!-- Extract novel "Rush to the Dead Summer,1995-2005" from book.qq.com) -->

<config charset="GB2312">
	<!-- 1. Init variables. -->
	<var-def name="baseUrl"><template>http://book.qq.com/s/book/0/5/5348/</template></var-def>
	<var-def name="maxloops">111</var-def>
	<!--<var-def name="nextXPath">//div[@id='TextInfo']/div[@id='pageList']/a[2]/@href</var-def>-->
	<var-def name="itemXPath">//div[@id='content']/text()</var-def>
	<var-def name="chapterTitle">//div[@id='TextInfo']/h1/text()</var-def>
	
	<!-- 2. Start to extract content of each chapter from web page. -->
	<while condition="${baseUrl.toString().length() != 0}" maxloops="${maxloops}"
		index="i">
		
		<!-- Set variable pageUrl with new value. -->
		<var-def name="pageUrl">
			<!-- <template>${nextLinkUrl.toString()}</template> -->
			<template>${baseUrl.toString()}${i}.shtml</template>
		</var-def>
			
		<empty>
			<!-- Crawl content from pageUrl. -->
			<var-def name="content">
			<!-- omitunknowntags="true" -->
				<html-to-xml outputtype="pretty" specialentities="true" omitcomments="true" treatunknowntagsascontent="true" prunetags="head,script,style,select,li,table,form,br">
					<http url="${pageUrl}" />
				</html-to-xml>
			</var-def>
			<!-- Analyze & get the next link URL. -->
			<!-- <var-def name="nextLinkUrl">
				<xpath expression="${nextXPath}">
					<var name="content" />
				</xpath>
			</var-def> -->
			<var-def name="title">
				<xpath expression="${chapterTitle}">
					<var name="content" />
				</xpath>
			</var-def>
			<!-- Extract content of chapter from current page. -->
			<var-def name="chapterContent">
				<xpath expression="${itemXPath}">
					<script return="n_content.toString()"><![CDATA[
						n_content = content.toString().trim().replace("\t","").replace("。　　","。\r\n");
						//content = content.replace("<br />","\r\n");
	        		]]></script>
				</xpath>
			</var-def>
			
			<!-- output to txt files -->
			<file action="write" type="String" path="E:/Books/Rush_to_the_Dead_Summer_1995-2005/${title.toString()}.txt">
				<template>${title.toString().trim()} ${sys.lf}
				          ${chapterContent.toString().trim()} ${sys.lf} ${sys.lf}
				          Extracted from : ${pageUrl.toString()}
				</template>
			</file>
			<!-- debug -->
			<!--<file action="write" type="String" path="E:/Books/Rush_to_the_Dead_Summer_1995-2005/page_${i}.xml">
				<template>${content.toString()}</template>
			</file>-->
		</empty>
	</while>

</config>

程序执行时间：INFO - Configuration executed in 47166ms. 也就是48秒下完一部111章的小说，速度还算理想。

下面是结果截图

此小说下载，请转至http://download.csdn.net/detail/wind_324/4029527

执行时间：INFO - Configuration executed in 47166ms. 也就是不到48秒，采集111章的小说，速度还算理想。

放到手机上简单看了一下，还是可以阅读的。但是在电脑上TXT打开的时候没有排版格式，但是editplus就可以看到排版，马上要放假了，暂时就这么出炉吧，欢迎留言讨论。

另：此文仅作学习参考使用，另使用或修改使用作其他用途概与本文作者无关。