python爬虫自学宝典——安装Scrapy

前文回顾
安装Scrapy最简单的方法就是pip了，我用的是python3.8，所以是pip3。
打开dos窗口，输入如下命令段：

pip3 install scrapy

注：如果没有pip命令，先检查你装python了没有，在命令行窗口输入python字符，查看python版本信息等。如果有python，用exit()退出python命令窗口，进入dos命令窗口。在dos命令窗口中输入python -m pip install scrapy即可使用python直起pip模块。
回车，会看到命令行窗口并没有下载一个叫scrapy的包，而是不停的下载其他包，这是因为Scrapy需要依赖大量的第三方包。
典型的有以下几种：
1、pyOpenSSL：python支持SSL（security socket Layer）的包。
2、cryptography：加密的库。
3、CFFI：调用c接口的库。
4、zope.interface：缺少接口时，提供扩展的库。
5、lxml：处理xml，HTML文档的库，比python的内置xml好用。
6、cssselect：css选择器库，很重要，但是用不上，很尴尬。
7、twisted：提供基于事件驱动的库。
…
pip调动的是外网资源，所以非常慢，但是有提速的方法。方法如下：
可以把上述“pip3 install scrapy”命令改为“pip3 install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple”。直接访问国内资源，上述那个网站是清华的资源，还有其他国内网站资源如下：

• 清华：https://pypi.tuna.tsinghua.edu.cn/simple
• 阿里云：http://mirrors.aliyun.com/pypi/simple/
• 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
• 华中理工大学：http://pypi.hustunique.com/
• 山东理工大学：http://pypi.sdutlinux.org/
• 豆瓣：http://pypi.douban.com/simple/

用pip安装twisted时，容易触发一个错误，

error:Microsoft visual c++ 14.0 is required.Get it with “Microsoft visual c++ build tools”:http://landinghub.visualstudio.com/visual-cpp-tools

什么意思呢？直白的说就是，你要用twisted包，就得装我大微软的Microsoft visual c++ build tools工具。沃特？为装一个小包，居然要浪费我可贵的电脑资源，何况你这个工具的还是那么大。
当然，上有政策，下有对策。咱们可以手动引入twisted包啊！何必看人脸色行事。进入python包官网，直接下twisted包，直接自己装。
python官网包下载地址（建议保存了，很有用。）
进入上述链接地址后，直接CTRL+F，搜索twisted。跳转到如下部分：

再点击twisted关键字，跳转到如下界面：

随便抽一条解释一下什么意思，例如：Twisted‑19.10.0‑cp38‑cp38‑win_amd64.whl
1、cp38表示适用python版本是3.8；
2、win_amd64表示适用python位数是64位。此外，win32表示适用为32位。
点击下载就不多说了。当然，善意的提醒一下是有必要的。这个鬼玩意很容易下不下来，这个时候就是百度的好处了，例如你可以将“Twisted‑19.10.0‑cp38‑cp38‑win_amd64.whl”直接放到百度上搜，会有好心人提供资源的，前提是你得分辨资源的好坏。
下载成功后，在dos命令行，利用“cd/d 地址”命令，进入你存放Twisted‑19.10.0‑cp38‑cp38‑win_amd64.whl文件的目录，再在命令行输入如下命令：

pip install Twisted‑19.10.0‑cp38‑cp38‑win_amd64.whl

在安装完成后，会提示如下信息：

successfully installed twisted…

当然，我还是建议你看到上述信息后，别急着高兴，再到dos命令行输入如下命令，以防万一：

pip3 install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

最后看到“successfully install scrapy”字符后，你就成功了。
再到dos命令行窗口输入如下命令，用来查看自己的scrapy究竟安装成功没有：

python -m pydoc -p 8899

命令行出现如下提示：

然后打开任意一个浏览器，在地址栏输入：localhost:8899。出现如下界面：

CTRL+F，在搜索框输入scrapy,如果有下部分，那么恭喜你，你的爬虫框架装成功了。

总结

装个爬虫框架能有多难？所以这章就是消遣一下，顺便解决一下Pip安装文件太慢时怎么办。既然已经安装好了，就必须知道这个框架的内容是什么。
预知后事如何，且听下回分解。