Scrapy爬虫框架应用(环境准备)

在windows环境下安装与配置Anaconda

       Anaconda 是一个包含数据科学常用包的 Python 发行版本。它基于 conda（一个包和环境管理器）衍生而来。你将使用 conda 创建环境，以便分隔使用不同 Python 版本和不同程序包的项目。你还将使用它在环境中安装、卸载和更新包。通过使用 Anaconda，处理数据的过程将更加轻松。
       点击清华大学开源软件镜像站下拉即可找到最新的Anaconda发布版，需要注意的是文件列表中后缀为x86的软件对应的电脑是32位，如果你的电脑是64位的推荐选择后缀为x86_64的软件。点击下载后把文件解压并双击Anaconda3-5.3.1-Windows-x86.exe进行安装。


       第一个勾是是否把Anaconda加入环境变量，第二个是是否设置Anaconda所带的Python 3.7为系统默认的Python版本。安装完成以后，就可以打开cmd测试一下安装结果。输入python会进入python交互命令行（可以看到提示为Anaconda里的Python）。

修改Anaconda包管理镜像源

       因为Anaconda的默认下载源在国外，不利于Anaconda的应用包升级。我们将其改为清华的镜像源，打开cmd输入下面的命令就可以了。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

更新Anaconda的所有的包

       我们在使用Anaconda的时候为了避免报错，我推荐在先在默认环境下更新所有的包。因为初次安装下的软件包版本一般都比较老旧，因此提前更新可以避免未来不必要的问题。用管理员权限打开Anaconda Prompt输入下面的命令，更新可能会很慢请耐心等待。

conda update conda
conda update --all

安装Scrapy爬虫框架

       Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
       Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。打开Anaconda Prompt输入下面的命令，开始安装Scrapy爬虫框架。

conda install scrapy

python.exe - 无法找到入口

       可能是我以前安装过Anaconda的原因，再次安装后再安装Scrapy报错了。

       解决方法是先找到进入Anaconda\DLLS目录，查看libssl-1_1-x64.dll的日期。

       再进入Anaconda\Library\bin目录，，查看libssl-1_1-x64.dll的日期并比较两者日期。如果不一致，将DLLS中的libssl-1_1-x64.dll替换为bin中的libssl-1_1-x64.dll。

找不到指定的程序

       我们在使用下边的命令Scrapy创建爬虫项目的时候如果报错如下的话。使用管理员权限打开cmd，输入下边的命令等待即可。

pip install -I cryptography