TurboWay的博客

原创 一个通用分布式爬虫框架 spiderman

spiderman 基于scrapy-redis的通用分布式爬虫框架 github 项目地址 spiderman 目录 效果图 采集效果 爬虫元数据 分布式爬虫运行 单机爬虫运行 kafka实时采集监控示例 介绍 功能 原理说明 快速开始 下载安装 如何开发一个新爬虫 如何进行补爬 如何扩展分布式爬虫 如何管理爬虫元数据 如何配合kafka做实时采集监控 其它 注意事项 hive环境问题 demo采集效果 爬虫元数据 cluster模式 standal