Gecco框架典型案例—闲逛APP

原创 2016年05月31日 10:55:04

Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star,100+的fork。那么,Gecco这个新的爬虫框架在实际应用中的表现如何呢?为了让用户放心使用Gecco框架,Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实际应用的框架都是耍流氓。

闲逛应用抓取了京东、苏宁易购、天猫、什么值得买等10多个主流电商和导购平台,经过数据清洗和聚合实现了如下功能:

  • 【历史新低】实时获取电商价格动态,历史新低谁买谁赚
  • 【值得买】全网什么值得买信息全收录
  • 【9.9包邮】天猫9.9包邮实时更新
  • 【优惠券】收集全网优惠券信息

闲逛应用的爬虫部分主要使用了Gecco的核心和Gecco-Spring的扩展框架,由于规模还不大,并没有使用Gecco-Redis分布式爬虫,由于考虑到效率问题也没有使用Gecco-HtmlUnit扩展框架。下一步引入更多电商网站的抓取后将会使用Gecco-Redis扩展框架进行分布式抓取,以验证Gecco-Redis的可靠性。

闲逛应用的爬虫部分已经做了7*24小时的稳定性测试,今后,Gecco的升级都会先在闲逛应用上做好测试后再进行版本的发布。

APP目前只有Android客户端。可以通过点击这里下载,也能通过扫描下面的二维码进行下载,有兴趣的朋友可以安装使用。
闲逛

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Xamarin.Forms框架引发APP崩溃典型bug

前面总结了Xamarin.Forms开发跨平台APP的感受,今天说说几个关于Xamarin.Forms框架的bug吧。 (1)下拉刷新崩溃:目前Xamarin.Forms中的listview快速的下...

【web】赵雅智_Apache—DBUtils框架详解与案例

Tip:O-R Mapping简介 什么是O-R  Mapping常用O-R Mapping映射工具 HibernateIbatisCommons DbUtils(只是对JDBC简单封装)...

iOS开发UI篇—APP主流UI框架结构

一、简单示例 说明:使用APP主流UI框架结构完成简单的界面搭建 搭建页面效果:                         ...

2014Esri中国用户大会亮点系列之——典型案例与应用阐释新一代WebGIS

2014年第十二届Esri中国用户

分治算法基本思想和典型案例

1 算法思想  分而治之方法与软件设计的模块化方法非常相似。为了解决一个大的问题,可以: 1) 把它分成两个或多个更小的问题; 2) 分别解决每个小问题; 3) 把各小问题的解答组合起来,即可得...

十个商标侵权典型案例 保护知识产权刻不容缓

上个月月底,江苏工商局公布了去年的十个典型的商标被侵权的案例,我们所熟知的Apple、劳力士、史努比等等都位列其中...果然是树大招风啊,下面小编就给各位讲讲具体案例。 一、“Iphone ...

熟读bug三百条(附典型案例下载)

偶然在论坛里看到这篇鼎鼎大名的文章,道理很简单,贵在坚持。你能坚持下来吗? ps:资料下载地址:http://download.csdn.net/detail/man8848/1244419 以下...

LEADTOOLS典型案例-OMR智能阅卷系统

OMR智能阅卷系统整合了图形处理控件LEADTOOLS Document Imaging的图像处理、模糊识别及数据分析等先进技术,研发而成的一套快速而准确的智能阅卷解决方案。解决了阅卷流程繁复、评阅效...

Chrome OS,互联操作系统(WebOS)典型案例

Chrome OS,互联操作系统(WebOS)典型案例
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)