大数据
嘟哒
这个作者很懒,什么都没留下…
展开
-
大数据
大数据的核心框架 hadoop(基于java语言) spark(基于scala语言)建议学习一下这个 scala语言 基于java语言的原创 2017-03-24 18:23:30 · 548 阅读 · 0 评论 -
开源爬虫框架各有什么优缺点
开源爬虫框架各有什么优缺点? 作者:老夏 开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的?这里按照我的经验随便扯淡一下: 上面说的爬虫,基本可以分3类: 1.分布式爬虫:Nutch 2.Java单机爬虫:Crawler4j、WebMagic、WebCollector 3. 非JAVA单机爬虫:scra转载 2017-06-29 08:33:24 · 2435 阅读 · 0 评论