python 使用Scrapy爬虫配置环境

Scrapy框架官方网址:http://doc.scrapy.org/en/latest

Scrapy中文维护站点:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

Windows 安装方式

Python 2 / 3
升级pip版本:pip install --upgrade pip
通过pip 安装 Scrapy 框架pip install Scrapy

Ubuntu 需要9.10或以上版本安装方式

Python 2 / 3
安装非Python的依赖 sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
通过pip 安装 Scrapy 框架 sudo pip install scrapy
安装后,只要在命令终端输入 scrapy,提示类似以下结果,代表已经安装成功
在这里插入图片描述

具体Scrapy安装流程参考:http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes 里面有各个平台的安装方法

Mac使用Scrapy爬虫

由于Scrapy需要使用C lang 的编译器和development headers(官网用词,不知含义),在mac系统下,以上是有xcode提供,因此先安装xcode命令行工具:
$:xcode-select --install
在这里插入图片描述
报错,所以我先从appshore下载了xcode
而后还又报了一个错误
在这里插入图片描述
于是上网查资料,说Mac最新场景下安装Xcode时已经没有Command Line了,需要单独安装。根据提示在使用命令xcode-select --install 安装时最后结果是不能安装该软件。
于是Developer Apple上手动下载对应的Command Line Tools 安装。

安装完成之后,即可运行pip install scrapy,运行完成之后,运行
$:Scrapy startproject yourProject 进行创建。可以看到,在该目录下产生了一个文件夹。

在这里插入图片描述
成功

crawlServer为我创建的project。
其中:
1、spiders文件夹:爬虫文件主目录
2、init.py:将改文件夹变为一个python模块
3、items.py:定义所需要爬虫的项目
4、middlewares.py:爬虫中间件
5、pipelines.py:管道文件
6、settings.py:设置文件

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页