VSCrawler
nudt_qxx
这个作者很懒,什么都没留下…
展开
-
VSCrawler 爬虫 java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory 解决方案
长长的报错信息如下:13:39:15.345 [main] WARN c.v.vscrawler.core.event.EventLoop - 程序已停止 13:39:15.376 [main] INFO c.v.v.core.config.DirectoryWatcher - 注册事件:ENTRY_MODIFY 13:39:15.376 [main] INFO c.v.v.core.conf原创 2017-06-27 21:59:49 · 1528 阅读 · 0 评论 -
VSCrawler爬虫项目介绍
VSCrawler是virjar大神写的一个java爬虫项目,VSCrawler接入了dungproxy作为网络层API,本身自带代理服务。比起其他流行的webmagic,Scrapy等爬虫框架,VSCrawler在处理诸如如多用户登陆,IP代理,复杂流程抽取等爬虫常见的棘手问题上,具有不小的优势。原创 2017-06-28 00:11:18 · 1378 阅读 · 0 评论 -
VSCrawler 爬取美女图片
主函数CrawlDemo.javaimport com.google.common.io.Files; import com.virjar.sipsoup.parse.XpathParser; import com.virjar.vscrawler.core.VSCrawler; import com.virjar.vscrawler.core.VSCrawlerBuilder; import co原创 2017-06-27 09:53:01 · 1404 阅读 · 0 评论 -
高级爬虫工程师职位要求
岗位描述1: 1、参与大规模框架系统的相关架构和开发; 2、负责框架系统模块设计和开发,包括服务端和客户端,以及日常升级和维护 3、协助完成需求收集、分析,系统设计,测试和部署,编写开发过程中涉及的相关文档任职资格 1. 3年以上Java开发经验,熟悉Java core和开源项目,有互联网开发经验者优先 2. 具备面向对象的设计思路和经验,熟悉软件开发流程、体系结构,具备较好的文档能力及良原创 2017-08-30 08:38:53 · 5576 阅读 · 0 评论