jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)

jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)
这次把爬虫和定时任务框架提炼了出来,新增了分页内容采集参数设置,同时修改了2012分页BUG,添加了 专题选择,内容直接可进入选择的专题,根据是否有图片 判断内容类型:普通/图文.等。。。爬虫内部也做了不少修改。还有些细节的调整就不一一列举了,有兴趣的朋友,下来看看,让我们共同进步。如有什么问题请QQ交流: 164863067

jeecms 交流群:217868618,爬虫交流群:217690017

我的小站:www.meishih.com就是基于此爬虫建立的,已经采集了上万条数据了。
有做网站的朋友 交换个链接吧:),这年头自己搞网站不容易,大家相互帮助哈:),先谢了!
小站网址:www.meishih.com
小站名称:美食汇

/**********************2012-02-14 更新*******************************/
修改了采集内容分页问题,增加采集内容分页补全URL字段
程序和SQL已经更新

/**********************2012-03-02 更新*******************************/
新增采集参数:是否去重,是否使用代理,代理服务器地址及端口
新增爬虫配置参数文件,系统启动自动加载
修复采集有分页时,无法停止BUG....等
其他一些小化
程序和SQL已经更新
采集参数表SQL:
`repeat_check_type` varchar(20) NOT NULL DEFAULT 'NONE' COMMENT '重复类型',
`use_proxy` varchar(20) DEFAULT 'false' COMMENT '是否使用代理',
`proxy_port` varchar(100) DEFAULT NULL COMMENT '代理地址端口',
`proxy_address` varchar(100) DEFAULT NULL COMMENT '代理地址',
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值