Python爬虫基础之scrapy框架安装，工作三年程序员在线讲解~

---

前言

scrapy是一个使用Python语言（基于Twisted框架）编写的开源网络爬虫框架,
目前由scrapinghub Ltd维护。
Scrapy简单易用、灵活易拓展、开发社区活跃，并且是跨平台的。
在Linux、MaxOS以及windows平台都可以使用，

需要的朋友可以参考下博主这篇文章。

---

一、网络爬虫

网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。

一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据，解析数据，保存数据。

• 数据请求

请求的数据除了普通的HTML之外，还有json数据、字符串数据、图片、视频、音频等。

• 解析数据

当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有csv、json、pickle等

• 保存数据

最后将数据以某种格式(CSV、JSON)写入文件中，或存储到数据库（MySQL、MongoDB)中。同时保存为一种或者多种。

通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联系，一个页面中可能包含一个或多个到其他页面的链接，提取完当前页面中的数据后，还要把页面中的某些链接也提取出来，然后对链接页面进行爬取（循环1-3步骤)。

设计爬虫程序时，还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略（深度优先或广度优先等)、爬虫访问边界限定等一系列问题。

从头开发一个爬虫程序是一项烦琐的工作，为了避免因制造轮子而消耗大量时间，在实际应用中我们可以选择使用一些优秀的爬虫框架，使用框架可以降低开发成本，提高程序质量，让我们能够专注于业务逻辑（爬取有价值的数据)。接下来，就带你学习目前非常流行的开源爬虫框架Scrapy。

关于爬虫的基本原理及具体流程可以看我的这篇文章：
Python爬虫最全面知识点总结

二、scrapy安装

scrapy官网：https://scrapy.org/
scrapy中文文档：https://www.osgeo.cn/scrapy/intro/overview.html

安装方式

在任意操作系统下，可以使用pip安装Scrapy，例如：

pip install scrapy

安装完成后我们需要测试安装是否成功，通过如下步骤确认：

在终端中测试能否执行scrapy这条命令

scrapy 2.4.0 - no active project
 
usage:
    scrapy <command>[options] [args]
 
Available commands :
    bench        Run quick benchmark test
    fetch        Fetch a URL using the scrapy down1oader
    genspider        Generate new spider using pre-defined temp1ates
    runspider        Run a self-contained spider (without creating a project)
    settings        Get settings values
    she11        Interactive scraping console
    startproject        create new project
    version        Print scrapy version
    view        open URL in browser,as seen by scrapy
 
    [ more ]        More commands available when run from project directory
 
use "scrapy <command> -h" to see more info about a command

输入scrapy bench测试连通性，如果出现以下情况表示安装成功：

通过了以上两项检测，说明Scrapy安装成功了。如上所示，我们安装的是当前最新版本2.4.0。

注意：

在安装Scrapy的过程中可能会遇到缺少VC++等错误，可以安装缺失模块的离线包

成功安装后，在CMD下运行scrapy出现上图不算真正成功，检测真正是否成功使用scrapybench测试，如果没有提示错误，就代表成功安装。

全局命令

scrapy 2.4.0 - no active project
 
usage:
  scrapy <command>[options] [args]
 
Available commands :
  bench      Run quick benchmark test #测试电脑性能
  fetch      Fetch a URL using the scrapy down1oader#将源代码下载下来并显示出来
  genspider      Generate new spider using pre-defined temp1ates#创建一个新的spider文件
  runspider      Run a self-contained spider (without creating a project)# 这个和通过craw1启动爬虫不同，scrapy runspider爬虫文件名称
  settings      Get settings values#获取当前的配置信息
  she11      Interactive scraping console#进入scrapy 的交互模式
  startproject      create new project#创建爬虫项目
  version      Print scrapy version#显示scrapy框架的版本
  view      open URL in browser，as seen by scrapy#将网页document内容下载下来，并且在浏览器显示出来
 
  [ more ]      More commands available when run from project directory
use "scrapy <command> -h" to see more info about a command

项目命令

• scrapy startproject projectname
• 创建一个项目
• scrapy genspider spidername domain
• 创建爬虫。创建好爬虫项目以后，还需要创建爬虫。
• scrapy crawl spidername
• 运行爬虫。注意该命令运行时所在的目录。

---

小结

安装成功的小伙伴可以尝试一下实战，戳我的这篇文章：
使用Scrapy框架爬取小说教程及代码实例

---

关于Python技术储备

学好 Python 和Python爬虫不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python及爬虫学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉CSDN大礼包：《Python入门资料&实战源码&安装工具】免费领取（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python基础学习视频

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

因篇幅有限，仅展示部分资料

三、精品Python学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

六、Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。


这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】