ScrapPY 项目教程
1. 项目的目录结构及介绍
ScrapPY 项目的目录结构如下:
ScrapPY/
├── README.md
├── requirements.txt
├── scrapy.cfg
├── scrapy_project/
│ ├── __init__.py
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders/
│ ├── __init__.py
│ └── example_spider.py
└── setup.py
目录结构介绍:
- README.md: 项目的基本介绍和使用说明。
- requirements.txt: 项目依赖的 Python 包列表。
- scrapy.cfg: Scrapy 项目的配置文件。
- scrapy_project/: Scrapy 项目的核心目录。
- init.py: 使
scrapy_project
成为一个 Python 包。 - items.py: 定义 Scrapy 项目的数据结构。
- middlewares.py: 定义 Scrapy 中间件。
- pipelines.py: 定义 Scrapy 数据处理管道。
- settings.py: Scrapy 项目的配置文件。
- spiders/: 存放 Scrapy 爬虫文件的目录。
- init.py: 使
spiders
成为一个 Python 包。 - example_spider.py: 示例爬虫文件。
- init.py: 使
- init.py: 使
- setup.py: 用于打包和分发项目的配置文件。
2. 项目的启动文件介绍
ScrapPY 项目的启动文件是 scrapy_project/spiders/example_spider.py
。这个文件定义了一个示例爬虫,用于从指定的网站抓取数据。
启动文件内容概述:
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
start_urls = [
'http://example.com/',
]
def parse(self, response):
for h2 in response.xpath('//h2').getall():
yield {'title': h2}
启动文件介绍:
- name: 爬虫的名称,用于在命令行中启动爬虫。
- start_urls: 爬虫开始抓取的 URL 列表。
- parse(self, response): 爬虫的回调函数,用于处理抓取到的数据。
3. 项目的配置文件介绍
ScrapPY 项目的配置文件是 scrapy_project/settings.py
。这个文件包含了 Scrapy 项目的各种配置选项。
配置文件内容概述:
BOT_NAME = 'scrapy_project'
SPIDER_MODULES = ['scrapy_project.spiders']
NEWSPIDER_MODULE = 'scrapy_project.spiders'
ROBOTSTXT_OBEY = True
ITEM_PIPELINES = {
'scrapy_project.pipelines.ExamplePipeline': 300,
}
配置文件介绍:
- BOT_NAME: 爬虫机器人的名称。
- SPIDER_MODULES: 爬虫模块的路径。
- NEWSPIDER_MODULE: 新爬虫模块的路径。
- ROBOTSTXT_OBEY: 是否遵守
robots.txt
规则。 - ITEM_PIPELINES: 定义数据处理管道的配置。
通过以上内容,您可以了解 ScrapPY 项目的基本结构、启动文件和配置文件。希望这篇教程对您有所帮助!