Gecco框架典型案例—闲逛APP

原创 2016年05月31日 10:55:04

Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star,100+的fork。那么,Gecco这个新的爬虫框架在实际应用中的表现如何呢?为了让用户放心使用Gecco框架,Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实际应用的框架都是耍流氓。

闲逛应用抓取了京东、苏宁易购、天猫、什么值得买等10多个主流电商和导购平台,经过数据清洗和聚合实现了如下功能:

  • 【历史新低】实时获取电商价格动态,历史新低谁买谁赚
  • 【值得买】全网什么值得买信息全收录
  • 【9.9包邮】天猫9.9包邮实时更新
  • 【优惠券】收集全网优惠券信息

闲逛应用的爬虫部分主要使用了Gecco的核心和Gecco-Spring的扩展框架,由于规模还不大,并没有使用Gecco-Redis分布式爬虫,由于考虑到效率问题也没有使用Gecco-HtmlUnit扩展框架。下一步引入更多电商网站的抓取后将会使用Gecco-Redis扩展框架进行分布式抓取,以验证Gecco-Redis的可靠性。

闲逛应用的爬虫部分已经做了7*24小时的稳定性测试,今后,Gecco的升级都会先在闲逛应用上做好测试后再进行版本的发布。

APP目前只有Android客户端。可以通过点击这里下载,也能通过扫描下面的二维码进行下载,有兴趣的朋友可以安装使用。
闲逛

版权声明:本文为博主原创文章,未经博主允许不得转载。

Xamarin.Forms框架引发APP崩溃典型bug

前面总结了Xamarin.Forms开发跨平台APP的感受,今天说说几个关于Xamarin.Forms框架的bug吧。 (1)下拉刷新崩溃:目前Xamarin.Forms中的listview快速的下拉...

【06】框架学习—Struts2第一个入门案例详解

struts2框架环境搭建 入门案例 配置文件简单分析

【web】赵雅智_Apache—DBUtils框架详解与案例

Tip:O-R Mapping简介 什么是O-R  Mapping常用O-R Mapping映射工具 HibernateIbatisCommons DbUtils(只是对JDBC简单封装)...

Apache—DBUtils框架_ 王少飞的个人总结及案例

O-R Mapping 常用O-RMapping映射工具 Hibernate Ibatis Commons DbUtils(只是对JDBC简单封装)   Apache—DBUtils框架 ...

iOS开发UI篇—APP主流UI框架结构

一、简单示例 说明:使用APP主流UI框架结构完成简单的界面搭建 搭建页面效果:                                  二、搭建过程和注意点 1.新建一...

使用JDBC连接MySQL数据库--典型案例分析(一)---员工数据读取与操作

使用JDBC连接MySQL数据库,查询emp表中所有员工的ID,姓名,薪资,

【公益】Google技术用户组Android 4.0典型应用案例讲座

北京谷歌技术用户组携手深圳谷歌技术用户组,将于03月17日(周六)下午1:00-5:00 ,分别在北京翠宫饭店和深圳博林诺富特酒店同时举办一场Android4.0最新技术及移动开发典型应用案例分享讲座...

分治算法基本思想和典型案例

1 算法思想  分而治之方法与软件设计的模块化方法非常相似。为了解决一个大的问题,可以: 1) 把它分成两个或多个更小的问题; 2) 分别解决每个小问题; 3) 把各小问题的解答组合起来,即可得...

Chrome OS,互联操作系统(WebOS)典型案例

Chrome OS,互联操作系统(WebOS)典型案例

2014Esri中国用户大会亮点系列之——典型案例与应用阐释新一代WebGIS

2014年第十二届Esri中国用户
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Gecco框架典型案例—闲逛APP
举报原因:
原因补充:

(最多只允许输入30个字)