Gecco学习笔记（八）

最新推荐文章于 2024-03-24 09:42:05 发布
最新推荐文章于 2024-03-24 09:42:05 发布
阅读量279 收藏
点赞数
文章标签： 爬虫 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/j000818/article/details/121755160
版权

2021SC@SDUSC

最近在分析Gecco的源代码，所以就想着测试一下java爬虫gecco的稳定性

测试结果：

基本信息

Interval: 5000,

StartTime: "2016-03-22 14:47:40",

ThreadCount: 1,

StarUrlCount: 8

单线程，共有8个初始抓取链接，每个请求抓取完成后休息5秒。

爬虫监控数据​​​​​​

taocan.ctrip.com
  Statistics: "{"exception":134,"serverError":0,"success":11270}"

  vacations.ctrip.com
  Statistics: "{"exception":61,"serverError":0,"success":17548}"

  huodong.ctrip.com
  Statistics: "{"exception":42,"serverError":0,"success":11814}"

  www.tuniu.com
  Statistics: "{"exception":4,"serverError":0,"success":228}"

  temai.tuniu.com
  Statistics: "{"exception":78,"serverError":0,"success":3507}"

  www.lvmama.com
  Statistics: "{"exception":0,"serverError":415,"success":41}"
  http://www.lvmama.com/tuangou/sale-623250 DOWNLOAD ERROR :500
  http://www.lvmama.com/tuangou/sale-612687 DOWNLOAD ERROR :400

  • 结果

从监控数据可以看到：

ctrip.com相关的数据抓取成功率较高，为99.99%，出现的失败都是exception，也就是类似超时之类的错误。

tuniu.com相关的数据抓取成功率也较高，为99.97%，出现的失败也是exception。

lvmama.com的成功率就十分低了，而且返回都是serverError也就是服务器500或者400错误，查看发日志发现可能对方服务器对ip做了访问限制，在成功抓取10多条后就一直报400或者500错误。

##多线程测试场景 爬虫采用3线程，测试时间2×24小时，测试期间系统无异常，jvm内存稳定。测试结果：

  • 基本信息

 Interval: 5000,
  StartTime: "2016-03-26 11:16:57",
  ThreadCount: 3,
  StarUrlCount: 8

3线程，共有8个初始抓取链接，每个请求抓取完成后休息5秒。

爬虫监控数据 

taocan.ctrip.com
  Statistics: "{"exception":58,"serverError":0,"success":19306}"

  vacations.ctrip.com
  Statistics: "{"exception":51,"serverError":0,"success":31402}"

  huodong.ctrip.com
  Statistics: "{"exception":62,"serverError":0,"success":17807}"

  www.tuniu.com
  Statistics: "{"exception":2,"serverError":0,"success":466}"

  temai.tuniu.com
  Statistics: "{"exception":118,"serverError":0,"success":5603}"

  www.lvmama.com
  Statistics: "{"exception":1,"serverError":410,"success":39}"
  http://www.lvmama.com/tuangou/deal-580212 DOWNLOAD ERROR :400

  • 结果

从监控数据可以看到和单线程结果基本一致

总结 从测试中可以发现，开源java爬虫Gecco对系统要求很低，体现其轻量化的特点。无论在单线程还是多线程环境下，系统均能稳定运行。对部分网站访问限制的问题，需要通过代理服务器来完成，Gecco是支持代理服务器随机选取的。

软工7班 姜彪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java分布式爬虫_Java分布式爬虫框架：Gecco 入门
weixin_39660931的博客
02-25 609
什么是Gecco ？Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。为什么使用Gecco？我是在码云上面搜了java爬虫框架，结果如下前三个都有试过，但是远远没有Gecco的API简洁，上手简单。最重要的一点是：它跟我学过的Python的爬虫框架Scrapy用法很相...
java爬虫gecco的稳定性测试
chenmaya8367的博客
03-28 148
#java爬虫gecco的稳定性测试 最近对开源的java爬虫Gecco做了一个稳定性测试，测试环境：一台爬虫+web应用服务器，一台mongodb服务器。服务器配置很low，两台都是阿里云最低端的主机，1核+512内存。 ##单线程测试场景 爬虫采用单线程，测试时间3×24小时，测试期间系统...
探索Gecco：一个强大的Java爬虫框架
gitblog_00035的博客
03-24 453
探索Gecco：一个强大的Java爬虫框架 项目地址:https://gitcode.com/bannzai/Gecco 在信息爆炸的时代，数据已成为价值的重要载体，而爬虫则成为获取这些数据的有效工具。今天，我要向大家推荐的是一个开源的Java爬虫框架——Gecco。它以其简单易用、高效稳定的特点，为开发者提供了一种全新的Web抓取解决方案。 项目简介 Gecco，由知名开发者bannzai打造，...
一个易用的轻量级的网络爬虫(Easy to use lightweight web crawler)
xtuhcy的专栏
12-30 239
  GECCO(易用的轻量化的网络爬虫) 初衷 现在开发应用已经离不开爬虫，网络信息浩如烟海，对互联网的信息加以利用是如今所有应用程序都必须要掌握的技术。了解过现在的一些爬虫软件，python语言编写的爬虫框架scrapy得到了较为广泛的应用。gecco的设计和架构受到了scrapy一些启发，结合java语言的特点，形成了如下软件框架。易用是gecco框架首要目标，只要有一些ja...
Gecco（java爬虫）
04-17
Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。同时Gecco基于十分开放的MIT开源协议，无论你是使用者还是希望共同完善Gecco的开发者，欢迎pull request。如果你喜欢这款爬虫框架请star 或者 fork!
学习笔记学习笔记学习笔记
01-29
学习笔记学习笔记学习笔记
java学习笔记总结
04-02
自己几个月的学习总结，一些解决问题的办法，很实用，希望对大家有所帮助！
java学习笔记markdown
03-12
狂神说java学习笔记，markdown版
GCC 学习 笔记GCC学习笔记
04-22
GCC学习笔记
MAKE 学习 笔记make
最新发布
04-22
MAKE学习笔记
轻量化的Java网络爬虫 GECCO.zip
07-18
Gecco是什么 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。同时Gecco基于十分开放的MIT开源协议，无论你是使用者还是希望共同完善Gecco的开发者，欢迎pull request。如果你喜欢这款爬虫框架请star 或者 fork!参考手册架构图： 主要特征  简单易用，使用jquery风格的选择器抽取元素  支持页面中的异步ajax请求  支持页面中的javascript变量抽取  利用Redis实现分布式抓取,参考gecco-redis  支持结合Spring开发业务逻辑,参考gecco-spring  支持htmlunit扩展,参考gecco-htmlunit  支持插件扩展机制  支持下载时UserAgent随机选取  支持下载代理服务器随机选取 使用手册：http://www.geccocrawler.com/tag/sysc/快速入门：@Gecco(matchUrl="https://github.com/{user}/{project}", pipelines="consolePipeline") public class MyGithub implements HtmlBean {     private static final long serialVersionUID = -7127412585200687225L;     @RequestParameter("user")     private String user;     @RequestParameter("project")     private String project;     @Text     @HtmlField(cssPath=".repository-meta-content")     private String title;     @Text     @HtmlField(cssPath=".pagehead-actions li:nth-child(2) .social-count")     private int star;     @Text     @HtmlField(cssPath=".pagehead-actions li:nth-child(3) .social-count")     private int fork;     @Html     @HtmlField(cssPath=".entry-content")     private String readme;     public String getReadme() {         return readme;     }     public void setReadme(String readme) {         this.readme = readme;     }     public String getUser() {         return user;     }     public void setUser(String user) {         this.user = user;     }     public String getProject() {         return project;     }     public void setProject(String project) {         this.project = project;     }     public String getTitle() {         return title;     }     public void setTitle(String title) {         this.title = title;     }     public int getStar() {         return star;     }     public void setStar(int star) {         this.star = star;     }     public int getFork() {         return fork;     }     public void setFork(int fork) {         this.fork = fork;     }     public static void main(String[] args) {         GeccoEngine.create()         .classpath("com.geccocrawler.gecco.demo")         .start("https://github.com/xtuhcy/gecco")         .thread(1)         .interval(2000)         .loop(true)         .mobile(false)         .start();     } }demo地址：教您使用java爬虫gecco抓取JD全部商品信息（一）教您使用java爬虫gecco抓取JD全部商品信息（二）教您使用java爬虫gecco抓取JD全部商品信息（三）集成Htmlunit下载页面爬虫的监控一个完整的例子，分页处理，结合spring，mysql入库 标签：网络爬虫  开源爬虫
java俄罗斯方块源码-gecco-2015-sztetris:GECCO2015论文的代码库：“N-TupleNetworkforKnowl
06-05
java俄罗斯框源码关于 GECCO 2015 发表的论文“N-Tuple Network for Knowledge-Free Reinforcement Learning in High Dimensions: A Case Study in SZ-Tetris”中描述的运行实验的源代码。 作者 Wojciech Jaśkowski 马辛·舒伯特 帕维尔·利斯科夫斯基 演示 先决条件 Java 8，Maven 建造 > mvn package 跑步 在 10000 场比赛中评估最佳代理： java -jar cevo.jar put.ci.cevo.experiments.gecco2015tetris.TetrisEvaluateAgentsPerformanceExperiment 要运行论文中描述的实验（对于给定的种子）： > java -Xmx2g -Dlog4j.configuration=file:log4j.properties -Dresults_dir=results/BI-CEM/123 -Dseed=123 -Dframework.properties=con
用Gecco爬虫采集数据
师远鹏
02-07 3126
说起网络爬虫大家首先都会想到python爬虫，但是用Java实现爬虫的也很多，也有很多爬虫框架，今天我想说说我使用什么做爬虫的。其实我也是一个爬虫白痴，刚接触爬虫的时候都是用纯java去做，但是做到一半的时候发现要写的代码真多，所以就找Java爬虫框架，于是就碰到了GECCO，说起这个GECCO，确实比较适合入门，下面就说说这个框架是如何使用的。 @Gecco(matchUrl="https://
爬虫程序 java_用JAVA做一个爬虫程序——Gecco
weixin_29474217的博客
02-20 245
Gecco是一个开源的简单的java爬虫框架主要是通过将获取的网页信息封装成HtmlBean来进行爬取信息。作者也是一个新手。这篇文章只是提供一个入门的思路。如果有不对的地方，还望指正。咱们来爬取一下明星的信息。http://ku.ent.sina.com.cn/sta...一些解释性的东西我大都写到注释里了。1、入口程序public class StarIndexPage{public stat...
Gecco爬虫框架的线程和队列模型
chenmaya8367的博客
06-08 176
##简述 爬虫在抓取一个页面后一般有两个任务，一个是解析页面内容，一个是将需要继续抓取的url放入队列继续抓取。因此，当爬取的网页很多的情况下，待抓取url的管理也是爬虫框架需要解决的问题。本文主要说的是gecco爬虫框架的队列和线程模型。 ##线程和队列模型 gecco的队列模型是两级队...
Gecco学习笔记（二）
j000818的博客
10-30 608
2021SC@SDUSC 本篇文章我会相对Gecco进行一下大体的框架概述 GeccoEngine GeccoEngine 是爬虫引擎，每个爬虫引擎最好是一个独立进程，在分布式爬虫场景下，建议每台爬虫服务器（物理机或者虚机）运行一个 GeccoEngine。爬虫引擎包括 Scheduler、Downloader、Spider、SpiderBeanFactory、PipelineFactory5 个主要模块。 Scheduler 通常爬虫需要一个有效管理下载地址的角色，Scheduler 负责下载地
Gecco学习笔记（十）
j000818的博客
12-06 567
2021SC@SDUSC 用四篇文章简单使用一下Gecco爬虫 使用java爬虫gecco抓取JD全部商品信息 gecco爬虫十分的简单易用，JD全部商品信息的抓取9个类就能搞定。 要抓取JD网站的全部商品信息，首页上通过分类跳转到商品列表页，商品列表页对每个商品有详情页。那么我们通过找到所有分类就能逐个分类抓取商品信息。 ##入口地址http://www.jd.com/allSort.aspx，这个地址是JD全部商品的分类列表，我们以该页面作为开始页面，抓取JD的全部商品信息新建开始页面的Htm..
Gecco学习笔记（一）：综述
j000818的博客
09-30 295
2021SC@SDUSC Gecco是一款用java语言开发的轻量化的易用的网络爬虫。作为国内大佬研发的java网络爬虫，Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，我们使用者只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。同时这个Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。 以上是gecco爬虫官网的介绍，作为一个java爬虫，它 简单易用，使用jquer...
CAN 总线学习笔记
01-18
CAN总线学习笔记主要包括CAN总线的相关概念和CAN自收发程序的解读。这些学习笔记可以帮助初学者了解CAN总线的基本原理和应用。 在CAN总线学习笔记一中，作者提到了学习新知识时网络的重要性，尤其是IT技术的学习。作者指出，虽然关于CAN总线的介绍很多，但大多雷同，可能是因为不断转贴的结果。这篇学习笔记可能会介绍CAN总线的基本概念，如CAN总线的工作原理、通信方式、帧格式等。 在CAN总线学习笔记二中，作者提到了解读别人的程序是一项费时费力的任务，但对于初学者来说，参考别人的程序是必不可少的。这篇学习笔记可能会解读一个CAN自收发程序，帮助初学者理解CAN总线的数据收发过程和相关编程技巧。 总的来说，CAN总线学习笔记可以帮助初学者快速入门CAN总线技术，并了解如何使用CAN总线进行数据通信和编程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值