Scrapy框架简单安装

起源

很早就想学习一下Python，主要想学习一下爬虫相关
但是不管是菜鸟python3教程或者廖雪峰老师的教程，练习照着做，但是合到一起灵活运用就傻眼了，别人的代码也看不懂。
基于个人感觉，我可能还是更适合做一些小DEMO，在DEMO中熟悉运用一些指示点比较容易上手且音响深刻。

Scrapy

scrapy框架是一个基于python的爬虫抓取的框架，可以很方便的帮助新手构建爬虫，本文简单记录一下安装方法，后续会再补上一些自己做DEMO时的一些笔记

安装

python下载地址
安装并自己配置环境变量，安装过程中会提示是否添加环境变量到path，也会有个选项可以选择是否一起安装pip（个人理解类似于php中的composer），我都选择了安装，对新手比较友好。
本人安装的python3.8.3.
然后通过pip安装scrapy

pip install Scrapy

我这里下载了一堆安装包之后报错了,大概是下面这种

ERROR: Command errored out with exit status 1: 

百度了一下各种都有，尝试了几种，在这里贴上我的参考链接：
python安装scrapy报错

在这里下载twisted安装包（有搜索结果说报错是由于通过pip安装twisted的时候安装包没有声明编码，默认编码gbk导致乱码，安装失败，这里下载的安装包就没有这个问题，当然这只是我个人猜测，感兴趣的大神可以再研究一下）
twisted下载地址

pip install your_package_url

twisted安装成功,再尝试安装scrapy也成功了。