疯子网页采集器之提取内容教程

疯子网页采集器之提取内容教程
第一步:
填写“链接开始”,0就是第一个链接,4就是第五个链接,这里填0
填写“地址变化”,比如4就会采集第1、5、9...的链接,这里填1
“保存图片”:采集图片,如果选择打钩保存图片地址,
就必须填写首页地址,就是要采集的网站的首页地址,没有填写保存图片会出错
“图片本地化”:把图片保存到服务器

点击“浏览器”,在地址栏输入内容页地址

比如    
http://www.youlu.net/2837850

等网页加载完再点击代码,
把代码复制粘贴到dreamweaver或别的网页编辑器打开方便浏览,
ctrl+a是全选,ctrl+C是复制,ctrl+v是粘贴

第二步:填写内容

填写内容规则,在代码中找到内容的开始标签和结束标签


标签头
<H3>图书详情</H3></DIV>

标签尾 <DIV style="Z-INDEX: 0; POSITION

开始标签和终止标签必需有一项是唯一的不然会出错: 可以用Ctrl+F查找是否是唯一的,不然采集会出错 第三步:去掉没用的提示 比如内容详情目录:内容提要,文章节选,目录等 标签头 <DIV class=txt-hd>

标签尾 </H5></DIV> 标签头必需是共同点:可以用Ctrl+F查找是否是唯一的,不然采集会出错 第四步:去掉没用的提示 如果还有没用的提示要去掉,方法类似 第五步:内容1配置 如果需要获取第二项数据可以   选中   “内容1” 然后填写   “内容1配置” 这里获取  “有路价” 标签头 <EM id=yl_d_price>

标签尾 </EM></SPAN> 开始标签和终止标签必需有一项是唯一的不然会出错: 可以用Ctrl+F查找是否是唯一的,不然采集会出错 点击提取内容就可以看到效果了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
预览图片见:http://www.cnblogs.com/xxpyeippx/archive/2008/03/31/1131211.html运行环境windows nt/xp/2003 or above.net Framework 1.1SqlServer 2000 开发环境 VS 2003目的学习了网络编程,总要做点什么东西才好。于是想到要做一个网页内容采集。作者主页: http://www.fltek.com.cn使用方式测试数据采用自cnBlog。见下图用户首先填写“起始网页”,即从哪一页开始采集。然后填写数据库连接字符串,这里是定义了采集到的数据插入到哪个数据库,后面选择表名,不必说了。网页编码,不出意外的话,中国大陆都可以采用UTF-8爬取文件名的正则:呵呵 这个工具明显是给编程人员用的。正则都要直接填写啦。比如说cnblogs的都是数字的,所以写了\d建表帮助:用户指定要建立几个varchar型的,几个text型的,主要是放短数据和长数据啊。如果你的表里本来就有列,那就免啦。程序里面没有做验证哦。网页设置里面:采集内容前后标记:比如说都有 xxx,如果我要采集xxx就写“到”,意思,当然就是到之间的内容啦。后面的几个文本框是显示内容的。点击“获取URL”可以查看它捕获的Url对不对的。点击“采集”,可以把采集内容放到数据库,然后就用 Insert xx () (select xx) 可以直接插入目标数据了。程序代码量非常小(也非常简陋),需要的改动一下啦。不足 应用到了正则表达式、网络编程由于是最简单的东西,所以没有用多线程,没有用其他的优化方法,不支持分页。测试了一下,获取38条数据,用了700M内存啊。。。。如果有用的人 ,可以改一下使用啦。方便程序员用,免写很多代码。Surance Yin@ Surance Center 转载请注明出处

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值