初识Scrapy

目录

1.Scrapy介绍

2.Scrapy安装

       2.1.安装前需要安装的软件 

       2.2.安装Scrapy

        2.2.1.安装命令

        2.2.2.执行pip install Scrapy可能会报如下错误

3.编写一个简单的爬虫

       3.1.创建一个Scrapy项目

---

1.Scrapy介绍

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。

2.Scrapy安装

       2.1.安装前需要安装的软件 

                          python

                          pip

                     如果都已经安装请查看python的版本。

       2.2.安装Scrapy

        2.2.1.安装命令

                 pip install Scrapy

        2.2.2.执行pip install Scrapy可能会报如下错误

                    2.2.2.1.如果是报告pip的版本：

                                           升级pip版本: python -m pip install --upgrade pip

                               2.2.2.1.如果是报告如下错误

building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

                                           首先去http://fstab.net/pypi/simple/twisted/下载

                 如下图，选择具体版本

                 

                                           安装Twisted所需要的版本：pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

                 

                   安装成功，继续执行pip install Scrapy。即可畅通无阻安装成功。

 

3.编写一个简单的爬虫

       3.1.创建一个Scrapy项目

                     找到代码存储位置目录下执行,netmusic是自己的项目名称，可以随便定义（但不允许有特殊符号）。

                            scrapy startproject netmusic

                     在代码存储位置会生成如下目录结构

netmusic/
    scrapy.cfg                                --项目的配置文件
    netmusic/                                 --该项目的python模块。之后您将在此加入代码。
        __init__.py                           --一般为空
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            example.py