爬虫笔记
Mr. Donkey_K
这个作者很懒,什么都没留下…
展开
-
爬虫:Scrapy爬虫框架
文章目录Scrapy简介通用爬虫框架流程Scrapy 框架流程Scrapy组件Scrapy运行流程Scrapy的安装Linux下的安装(包括mac)Windows下的安装基本命令项目文件说明项目案例项目介绍项目代码创建工程创建爬虫程序自动创建目录及文件编写爬虫文件(douban.py)编辑item文件编辑pipelines文件编辑settings文件项目效果Scrapy简介通用爬虫框架流程...原创 2019-08-26 10:31:22 · 334 阅读 · 0 评论 -
爬虫:Scrapy-redis分布式爬虫
文章目录scrapy - redis 简介优势缺点scrapy - redis 架构scrapy - redis 常用配置scrapy - redis 键名介绍scrapy - redis 简单实例scrapy - redis 简介scrapy-redis 是 scrapy 框架基于 redis 数据库的组件,用于 scrapy 项目的分布式开发和部署。官方文档:https://scrapy...原创 2019-08-26 11:00:55 · 491 阅读 · 0 评论