本文介绍了网络爬虫的基础知识，包括请求数据、解析数据和保存数据的流程。接着，文章详细讲解了Scrapy爬虫框架的安装、基本命令和创建第一个Scrapy爬虫的步骤。内容涵盖项目需求、项目结构、Spider类、Item和scrapy.Request的使用。通过实例展示了如何使用Scrapy编写和运行爬虫，提取并保存数据。
1、scrapy简介
1、1 网络爬虫
网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。
一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据， 解析数据， 保存数据
1、1、1 请求数据
请求的数据除了普通的HTML之外，还有 json 数据、字符串数据、图片、视频、音频等。
1、1、2 解析数据
当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有csv、json、pickle等
1、1、3 保存数据
最后将数据以某种格式（CSV、JSON）写入文件中，或存储到数据库（MySQL、MongoDB）中。同时保存为一种或者多种。
通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联
订阅专栏 解锁全文
扫一扫
62万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
