帝国cms采集图文教程（下）

最新推荐文章于 2024-04-22 12:59:29 发布

weixin_34038652

最新推荐文章于 2024-04-22 12:59:29 发布

阅读量536

点赞数

文章标签： python

原文链接：https://my.oschina.net/kguowai/blog/49310

版权

2019独角兽企业重金招聘Python工程师标准>>>

前两讲我们分别介绍了帝国cms采集基本流程和帝国cms如何采集内容分页，最后这一讲主要介绍帝国cms采集过滤与替换，还有些技巧。

一、过滤
1、帝国cms采集过滤分为两种：
(1)“整体页面过滤正则”：

(2)“过滤广告正则”：

我们有些疑惑，这两种过滤到底有什么区别？“整体页面过滤正则”是过滤整个网页的html代码。“过滤广告正则”是过滤文章内容，仅对文章内容（[!--newstext--]）起作用。

2、过滤实例：
过滤实例（1）：

我们采集后发现信息内容底部多了行代码：“<div style="clear:both;height:0;visibility:hiddden;overflow:hidden;"> </div>”，根据格式“广告开始[!--ad--]广告结束”得到“过滤广告正则
”：

过滤实例（2）：

要过滤链接代码怎么办，注意“过滤广告正则”右边有堆代码：

鼠标先点击A，系统自动生成过滤链接代码“<a[!--ad--]>,</a>,<A[!--ad--]>,</A>”，这样就可以把采集后的内容链接过滤掉了。同理，如果想过滤其他html代码就点击相应的标签代码。
注意事项：当内容分页包含在内容（[!--newstext--]）里时，要过滤掉内容分页，否则会重复出现内容分页。

二、替换
1、帝国cms采集替换也分为两种：
（1）“整体页面替换”：

（2）“替换”：

他们两种区别：“整体页面替换”是替换整个网页的html代码。“替换”是替换文章标题和内容，仅对标题（[!--title--]）和（[!--newstext--]）起作用。

2、替换实例：

我们要把内容里的“新华网”替换成“中华网”：

预览下：

没有问题，替换过来了。

三、图片采集
（1）我们采集时会碰到信息内容可以正常采集，但是里面的图片却不显示，例子：

信息内容可以正常采集，就是图片不显示出来，这是由于内容图片的路径不对，图片的路径为相对地址。

（2）查看源代码：

图片是相对地址，要换成绝对地址才能采集成功。

（3）替换成绝对地址：
先在目标站的图片右键查看属性：

目标站的图片地址为“http://www.gdyd.com/news/PNews/a/e77366_634655073936250000.jpg”，我们采集所到的图片地址为“/news/PNews/a/e77366_634655073936250000.jpg”，分析得到前缀“http://www.gdyd.com”，我们把前缀放到“图片/FLASH地址前缀(内容)”，如下图：

（4）前台预览图片：
图片显示出来了：

查看源代码：

图片地址没错，是本地地址。
注意事项：我们在采集预览和在本地临时入库信息时，发现已经添加了图片地址前缀了，但是图片还是不显示，出现这个你不用理他，直接入库，入库了系统才会自动添加图片地址前缀。