div区域内容抓取_使用爬虫框架Scrapy抓取网页数据（一）：概述

记得十多年前，自己还是个高中生的时候，所谓的智能手机还完全没有普及，如果想在学校里面大量阅读电子书的话，基本上靠的就是有阅读 功能的MP3或者MP4了。而电子书的来源呢？在无法随时随地接触网络的情况下，有时靠的就是笨办法：将一些小说网站上的内容一页页的粘贴复制下来。而那些动辄几百章节的网络小说，靠这样的手工操作，确实让人非常头疼。那时候是多么希望有一个工具能帮我自动完成这些吃力的手工活啊！！！

好吧，言归正传，最近在研究怎么使用爬虫框架Scrapy。先说说想要学习Scrapy的初衷吧。

• 学习目的：抓取自己经常浏览的十几个新闻类网站的新闻数据，然后统一在的html页面中浏览。
• 实现方法：第一步,使用Scrapy抓取数据。第二步，使用Django生成html页面

• Scrapy介绍

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试(百度百科上的介绍)。

经过几天的学习，Scrapy的初步使用，首先需要了解的就是如下几个概念了：

• Spiders：