模仿 scrapy 开发的轻量级爬虫框架,详情可移步 github 页面查看
简介
magical 轻量级爬虫框架, 模仿 scrapy 开发,没有 scrapy 复杂,抛弃了 yield 跟 回掉函数,流程简单化,全部可自定义,框架只是简单封装了一些常用函数
项目文件:
spiders
爬虫列表文件夹settings
爬虫配置文件middleware
中间件文件pipeline
管道文件base_spdier
spider 提供3个爬虫类:
SyncSpider
单线程爬虫RedisMessageMQSpider
redis 发布者订阅者模式爬虫RabbitMessageMQSpider
rabbitMQ 生产者消费者爬虫ThreadSyncSpider
多线程爬虫,启动多个线程,去实例化以上三种爬虫类
sync_spider requests
同步版本
async_spider aiohttp
异步版本 (问题较多,已放弃开发)
原文链接,博主个人站点:http://www.qinless.com/228