Python爬虫从入门到精通:（25）scrapy框架02_scrapy框架的基本使用_Python涛哥

scrapy的基本使用

1. 创建一个工程

   • 命令：scrapy startproject ProName

   # 比如这里我创建一个工程，名字叫demoPro
   # 打开终端，输入：
   scrapy startprojiect demoPro
   

• 目录结构

  这里先介绍2个，后续学习中再介绍其他

 `spiders`文件夹:爬虫文件夹

 	-  必须要存放一个爬虫源文件 

 `settings.py` : 工程的配置文件

2. cd ProName

   创建好工程后，我们需要先进入项目目录

   # 在终端输入
   cd demoPro
   

3. 创建爬虫源文件

   • 命令：scrapy genspider spiderName www.xxx.com

   • 编写对应的代码在爬虫文件中

其中：

- demo 是爬虫源文件的名称
- 网址可以先随便写

然后我们来看下默认生成的代码：

4. 执行工程

   我们修改下要爬虫的网址

   import scrapy
   
   class DemoSpider(scrapy.Spider):
       name = 'demo'
       allowed_domains = ['www.baidu.com']
       start_urls = ['https://www.baidu.com/']
   
       def parse(self, response):
           pass
   

   执行工程命令：scrapy crawl spiderName

   # 终端输入
   scrapy crawl demo
   

上面就是scrapy基本操作使用步骤！
但我们看到，并没有爬取到我们想要的结果，难道还需要设置什么吗？

是的！我们下节课来学习scapy的简单爬虫配置！
关注Python涛哥！学习更多Python知识！