python-scrapy的学习记录

写在前面,以前都是用有道云做学习记录,只是上传图片很麻烦,发现csdn可以直接复制QQ截图的,好开心 ?
写这篇学习记录的初衷,之前网上已经有很多学习爬虫的教程了,自己也看了文字版和视频版的,当时学的时候也会用,只是隔一段时间就忘了,而且碰到的好多类似的问题,还是无法解决还去百度这就降低了效率,所以再次整理学习记录,

如果创建新的工程不要再原先的基础上创建,直接在盘符的根目录创建 ? (血泪史 - -!)

学习笼统分为两步:学和习,只是做到了前一步,温习还没有做到 ?

1. 安装虚拟环境

(windows)cmd环境下
(py3.exe的安装路径);如果不知道可以在 搜索程序和文件的地方搜索python 找到py3右键属性查找它的位置

创建3.7版本的虚拟环境并且命名为article

mkvirtualenv --python= D:\Users\dnv\AppData\Local\Programs\Python\Python37-32\python.exe article

2. 安装scrapy-使用豆瓣源

pip install -i https://pypi.douban.com/simple scrapy

安装成功后,进入D盘的存放工程的目录,再使用命令workon查看虚拟环境

进入虚拟环境
workon article

新建项目
scrapy startproject ArticleSpider

— 未完待续 2019-6-8 19:38:49

切入对应的目录

cd ArticleSpider

创建工程

scrapy genspider jobbole blog.jobbole.com

如果要单独启用某个爬虫文件scrapy crawl jobbole

windows 下出现No Module named 'win32api';
> 解决方法
> pypi install -i https://pypi.douban.com/simple pypiwin32

工程根目录下新建main.py文件

---

但是有出现了一个冲突的问题
运行main的时候出现了No module named 'scrapy'
找不到scrapy???
百度出来的原因是:有两个PYTHON的lib，一个是IDE的D:\Python\IDE\Lib，而另一个是原生Python的D:\Python\Python X.X\Lib。使用的pip下载的scrapy的路径是IDE的lib，而原生Python中的lib却并没有scrapy！而当imoport scrapy时，程序查找的路径是原生Python下面的lib，那自然就会出现ImportError: No module named scrapy的问题反正是没看懂,那就重新开始再弄一个目录吧 ?

---

又出现了一个新的问题
'mkvirtualenv' 不是内部或外部命令，也不是可运行的程序或批处理文件。

pip list
查看结果

安装 virtualenvwrap

pip install virtualenvwrapper-win

写到这里,一定要记住不要删创建的虚拟环境 ?,还好在这一步能用了,不然下一步就是重装python 和重装系统了…