Scrapy框架的安装

Scrapy框架的安装

安装指南¶

支持的 Python 版本¶

Scrapy 需要 Python 3.8+，CPython 实现（默认）或 PyPy 实现（请参阅备用实现）。

安装 Scrapy¶

如果您使用的是 Anaconda 或 Miniconda，则可以从 conda-forge 频道，其中包含适用于 Linux、Windows 的最新软件包 和 macOS。

要使用 ，请运行：conda

conda install -c conda-forge scrapy

或者，如果你已经熟悉 Python 包的安装， 您可以使用以下命令从 PyPI 安装 Scrapy 及其依赖项：

pip install Scrapy

我们强烈建议您将 Scrapy 安装在专用的 virtualenv 中， 以避免与系统软件包冲突。

请注意，有时这可能需要解决某些 Scrapy 的编译问题 依赖项取决于您的操作系统，因此请务必查看特定于平台的安装说明。

有关更详细和平台特定的说明，以及 疑难解答信息，请继续阅读。

值得了解的事情¶

Scrapy 是用纯 Python 编写的，依赖于几个关键的 Python 包（以及其他包）：

• lxml，一个高效的 XML 和 HTML 解析器
• parsel，一个写在 lxml 之上的 HTML/XML 数据提取库，
• w3lib，一个用于处理 URL 和网页编码的多用途帮助程序
• Twisted，异步网络框架
• 密码学和pyOpenSSL，以应对各种网络级安全需求

其中一些包本身依赖于非 Python 包 这可能需要额外的安装步骤，具体取决于您的平台。 请查看下面的平台特定指南。

如果出现与这些依赖项相关的任何问题&