dedecms采集基础篇

dedecms的确有很强大的采集功能，现在，网站已采集了8成左右，就采集中所遇到的问题，现作出了一些总结，便于共同学习，交流。

    一，进入采集中管理界面

在后台管理界面的主菜单中单击“采集”，然后单击“采集节点管理”，即可进入采集节点管理界面。

  二，增加新节点

在采集节点管理界面中，单击左下角的“增加新节点”或者右上角的“添加新节点”，都可进入“选择内容模型”界面，在“选择内容模型”界面的下拉列表框中，有“普通文章”和“图片集”可供选择。根据被采集页面的类型，选择相应的内容模型。本文这里选择“普通文章”，单击确定后，便可进入“新增采集节点：第一步设置基本信息及网址索引页规则”界面，

    三，设置节点基本信息

节点名称：给新建立的节点起一个名字，这里填上“采集测试（一）”；

目标页面编码：设定被采集目标页的编码格式，有GB2312、UTF8和BIG5三种。可通过在被采集目标页面上，单击右键后选择“查看源文件”来获取。

操作步骤：

（a）打开被采集的目标页：；

（b）单击右键后选择“查看源文件”，找到“charset”，如下图所示

其等号后面的代码就是所需的“编码格式”，这里是“gb2312”。

 “区域匹配模式”：设定如何匹配所需采集的内容部分，可采用字符串或者正则表达式。系统默认的模式是字符串。如果比较了解正则表达式的朋友，可以在这里选择正则表达式的模式。

“内容导入顺序”：指定文章列表导入时候的顺序，可以选择“与目标站一致”或“与目标站相反”。

“防盗链模式”：针对被采集的目标站点有无刷新限制。一开始很难判断出来，需要测试后才能知道。如果有的话，这里需要设置一下“资源下载超时时间”。

“引用网址”：填入任何一个即将被采集的文章内容页面的网址。

具体操作步骤：

（a）在已打开的文章列表页中，单击第一篇文章的

标题“”，以打开文章内容页面，如图所示，

 

（b）此时在浏览器的URL地址栏中显示的网址，即为需要填写在“引用网址”处的网址，如（图8）所示，

到这里，“节点基本信息”就设置完成了，检查无误后，进入下一步设置。

   四，设置列表网址获取规则

如图所示：

列表网址获取规则

这里是设置被采集的文章列表页的匹配规则。如果被采集的文章列表页有一定的规律，可选择“批量生成列表网址”；如果被采集的文章列表页完全没有规律可循，那么可选择“手工指定列表网址”；如果被采集的站点提供了RSS，则可以选择“从RSS中获取”。对于特殊情况，例如：部分列表页规律，而其余的又没有规律，则可在“匹配网址”中填上有规律的部分，然后把没有规律的部分填写在“手动指定网址”。

具体操作步骤：

（a）首先，回到已打开的文章列表页，找到浏览器的URL地址栏中显示的网址，和页面底部的换页部分。如图所示，

（b）单击“2”，打开文章列表页的第二页，此时浏览器的URL地址栏中所显示的网址和页面底部的换页部分，

第二页的网址

第二页的换页部分

（c）在已打开的文章列表页的第二页上面，单击（1），打开文章列表页的首页，这时页面底部的换页部分与图11相同，而浏览器的URL地址栏中所显示的网址与之前图8并不相同，如（图14）所示，

第一页的网址

（d）由（b）和（c）推知，此处被采集的文章列表页的网址所遵循规律为：

。稳妥起见，请自行测试更多列表页。确定规律后，在“匹配网址”中，填入文章列表页所遵循的规律。

（e）最后，指定需要采集的页码或者规律数字，并设定其递增规律。

到这里，“列表网址获取规则”部分就设置结束了。最后结果，如图所示，

设置后的列表网址获取规则

确定正确后，进入下一步设置。

五，设置文章网址匹配规则

如图所示，

文章网址匹配规则

这里是设置被采集文章列表页的匹配规则。

具体操作步骤：

（a）对于“区域开始的HTML”，可通过在打开的文章列表首页上，单击右键后选择“查看源文件”。在源文件中，找到第一篇文章的标题“”，如图所示，

查看源文件中，第一篇文章的标题

 

通过观察，不难看出“<div class=“arc_list”>”为整个文章列表的开始部分。因此，在“区域开始的HTML”中，填入”<div class=“arc_list”>”。

（b）在源文件中，找到最后一篇文章标题“通过Dreamweaver设计网页时组织CSS的建议”，如图所示，

查看源文件中，最后一篇文章的标题

结合文章列表的开始部分并通过观察可知，第一个“</div>”为整个文章列表的结束部分。因此，在“区域结束的HTML”中，应填入”</div>”。

“如果链接中含有图片”：设置对链接中含有图片的处理方式，有不处理和采集为缩略图可选。可根据实际需要选择。

“对区域网址进行再次筛选”：可以使用正则表达式对区域网站进行再次筛选，这是针对一些需要被保留或者需要滤掉的内容，尤其是混编的列表页面，通过使用“必须包含”或者“不能包含”过滤掉所希望获取或者不希望获取的文章内容页面的网址。

具体操作步骤：

回到正在打开的文章列表首页的源文件，通过观察可知，每一个文章内容页面地址的扩展名均为.html。因此，可在“必须包含”中，填入“.html”。

到这里，“文章网址匹配规则“就设置结束了。最后结果， 如图所示，

设置后的文章网址匹配规则

新增采集节点的第一步就已经设置完成了。全部完成并检查无误后，单击“保存信息并进入下一步设置“。如果之前设置正确，单击后，将会进入“新增采集节点：测试基本信息及网址索引页规则设置的网址获取规则测试”页面并看到相应的文章列表地址。如图所示，

网址获取规则测试

确定正确无误后，单击“保存信息并进入下一步设置”。否则，请单击“返回上一步进行修改“。

   新增采集节点：第二步设置内容字段获取规则

单击“保存信息并进入下一步设置”后，便可进入“新增采集节点：第二步设置内容字段获取规则”页面，如图所示，

设置内容字段获取规则

在预览网址处，系统将会自动指定一篇将被采集文章内容页面的网址（一般为所采集列表页面的第一篇文章网址），作为示范页面。如果文章内容页面含有分页，则需设置“内容分页导航所在的区域匹配规则”。对于“固定采集项目”中的“内容摘要、关键字和缩略图“三个部分，系统会用正则进行自动匹配，这里仅需配置过滤内容即可。下面主要介绍如何获取“文章标题、文章作者、文章来源、发布时间和文章内容”的采集规则，过滤规则仅简单涉及。

   获取文章标题的采集规则

首先，打开“预览网址“的页面并单击右键，选择”查看源代码“，找到文章标题” 在Dreamweaver中为插入的Flash添加透明“，如（图23）所示，

在源代码中的文章标题

这里的文章标题处在”<h1></h1>”之间，由于在此页面中多次出现这组标签，因此这里应该填写“<div class=”arcbody”><h1>[内容]</h1>”作为文章标题的匹配规则。如果在文章标题中含有相关链接等，可使用过滤规则加以处理，这里无需设置。填写后，如图所示，

文章标题的采集规则

    获取文章作者的采集规则

如上图23所示，在“作者：”二字后面有一组标签“<font color=”red”></font>”，以此猜测，作者名将会写在这组标签之间。同样，为了保持唯一性，这里应填写”作者：<font color=“red”>[内容]</font>“作为文章作者的采集规则。谨慎起见，请根据文章列表中其他文章内容页面查证此采集规则是否正确。这里不需要使用过滤规则。填写后，如图所示，

文章作者的采集规则

获取文章来源的采集规则

在上图23中，可发现“来源：”二字后面有一组标签“<font color=”red”></font>”，以此猜测，来源内容将会写在这组标签之间。与2.1.2处理方式相同，为了保持唯一性，文章来源的采集规则应为“来源：<font color=“red”>[内容]</font>“。同样，这里也不需要使用过滤规则。填写后，如图所示，

文章来源的采集规则

获取文章发布时间的采集规则

再次回到图23，找到“发表于：”及其后的“<font color=”red”>2009-09-29 14:21</font>”，与之前获取采集规则方法相同，此处应把“发表于： <font color=”red”>[内容]</font>”作为发布时间的采集规则。同样，这里也不需要使用过滤规则。填写后，如图所示，

文章发布时间的采集规则

获取文章内容的采集规则

这个部分是编写采集规则的重点，也是难点。需要特别注意。

具体操作步骤：

（a）回到正在打开的文章内容页面的源代码，找到文章内容的开始部分“Dreamweaver升级到8.0.2后”，如图28所示，

文章内容的开始部分

注意：在源代码中，有两处都出现了这句话。其中，第一句在“<div class=”intro”>”之后，第二句在“<div class=”content”><p>”之后。通过对比文章内容页面及其源代码，不难发现，第一处实为摘要，第二处才为文章内容的开始部分。因此，应选取“<div class=”content”>”为匹配规则的开始部分。

（b）找到文章内容的结束部分“同样是添加值为“transparent”的“wmode”参数。”，如图所示，

文章内容的结束部分

注意：由于结束部分的最后标签为”</p>”，而此标签在文章内容中多次出现。因此，不能作为采集规则的结束标签。考虑到应与文章内容的开始部分相对应，经对比和分析后得出，此处应选取“</div>”作为文章内容的结束部分，如图所示，

文章内容匹配规则的结束部分

（c）综合（a）和（b）可知，此处文章内容的匹配规则应为“<div class=”content”>[内容]</div>”，填写后，如图所示，

文章内容的匹配规则

这里占时不使用过滤规则，关于过滤规则的介绍和使用，将会放在单独的章节中。到这里，“新增采集节点：第二步设置内容字段获取规则”，就设置完成了。检查无误后，单击“保存配置并预览”。如果之前设置正确，单击后，将会进入“新增采集节点：测试内容字段设置”页面并看到相应的文章内容。如图所示，

新增采集节点：测试内容字段设置

确定正确无误后，如果单击“仅保存”，系统将会提示“成功保存配置“并返回”采集节点管理“界面；如果单击“保存并开始采集“，将会进入”采集指定节点“界面。否则，请单击“返回上一步进行修改”。

采集指定节点

单击“保存并开始采集“后，将会进入”采集指定节点“界面，如图所示，

采集指定节点

每页采集：设置每页所需采集的条数，并可根据网站是否有防刷新功能，设置采集间隔时间。

特殊选项：设置是否检测重复图片，默认为“检测”。

附加选项：此选项一共有3种采集模式可供选择：第一种为“监控采集模式（检测当前或所有节点是否有新内容）”，选取后，系统只会采集指定节点中更新的内容；第二种为“重新下载全部内容”，选取后，系统会采集指定节点中的全部内容；第三种为“下载种子网站的未下载内容”，选取后，系统只会采集指定节点中未下载过的内容，包括以前没下载的和更新的内容。

设置完成并确定无误后，可单击“开始采集网页”或者“查看种子网址”。此时，如果单击“查看种子网址”会看到列表是空的，这是因为新建立的采集节点从未采集过，如图所示，

查看节点的种子网址

单击“开始采集网页”后，系统便会开始采集节点中设置的网址，并出现相关提示，如图所示，

采集进程中提示信息

采集结束后，再次单击“查看种子网址”或者单击页面右上角的“查看已下载”，便可看到已采集到的网址信息，如图所示，

查看节点的种子网址

成功采集以后，可以根据实际需要选择页面右上角的单击“采集节点管理”或者“导出数据”。单击“导出数据“后，便可进入” 采集管理> 采集内容导出“界面，如图所示。

采集内容导出

 

“默认导出栏目“：设置要把采集到的内容导入到的栏目

“批量采集选项”：如果在采集规则中已指定栏目ID，则可使用此功能，若指定的栏目ID为0，系统会把采集内容导入到“默认导出栏目”所选择的栏目中。

“发布选项“：有发布成“普通文档”和“保存为草稿”可供选择。

“每批导入“：设置每批导入的条数，此数不宜过大。

“附带选项“：此处为多选。如果不希望采集到重复的文章标题，可选中“排除重复标题”；如果希望被采集到的内容直接生成HTML的话，可选中“完成后自动生成导入内容HTML”；如果希望系统在采集列表页时自动识别标题名，可选中“使用列表索引的标题”，一般不建议勾选。

“随机推荐”：填入一个数字，代表文档篇数。在所填入的文档篇数内随机出现一篇推荐文档，若填入“0”，则表示为不推荐。

设置完成后，可单击“确定”，就可以把下载的导入到所选的栏目中了，如图所示。

设置完成后的采集内容导出页面

 同时，系统将会有导出进程提示，如图所示，

采集内容导出中的提示信息

导出采集内容提示“完成所有栏目列表更新”后，单击“浏览栏目”，便可进入网站的相关页面查看到采集到的文章列表及其具体内容。也可在后台管理界面的主菜单中单击“核心”，然后单击“普通文章”，进入“文档列表”页面，查看所采集到的文章列表，如（图41）所示，

图41-文档列表

 

到此为止，已成功采集到了目标网站的文章内容。