今天接触了scrapy redis 概念 记录下知识点。
scrapy 是爬虫框架
redis 为分布式数据库
安装可以在dos command 使用 pip install scrapy 和 pip install redis , 然后python 就会自动安装这两个库,真是比java 不知道高到哪里去了,pip 这个命令真好用。
电脑要先安装c++ build tool: landinghub.visualstudio.com/visual-cpp-build-tools
然后在dos 环境下新建一个scrapy 项目 scrapy startproject yourprojectname, 建好之后会有提示信息并且告诉你放在什么地方