scrapy 的创建和执行，萌新教程

目录

一、scrapy 创建

1.1 切换路径

1.1.1 切换盘符

1.1.2 切换路径

1.1.3 查看路径

1.2 创建scrapy 项目

二、scrapy 执行

2.1 cmd中运行

2.2 编辑器中运行

三、总结

---

一、scrapy 创建

1.1 切换路径

cmd打开方式，快捷键win+R，输入cmd，回车。下面操作在cmd中进行。

1.1.1 切换盘符

打开cmd之后，输入d: ，回车 ，则是转到d盘；同理，输入e: ，回车，可以转到e盘下。

注意，有一个很重要的前提！！！必须有D盘或E盘才可以切换成功！！其实很好理解，这是在电商上查找路径，如果连盘符都没有，肯定会找不到路径。

 

展示一下：我的电脑有e盘，切换成功；没有h盘，所以报错了。

 

注意：苹果系统一般都只有一个盘，不用切换盘符。

 

1.1.2 切换路径

输入【cd 文件夹】表示进入到该子文件夹下。

注释：是cd加一空格再加上文件夹路径。

（电脑里必须有创建这些文件夹，才能cd到相应的文件下）

1.1.3 查看路径

很简单的一个操作~~直接把文件夹拖到终端或cmd就可以看得到。

 

 

1.2 创建scrapy 项目

举一个具体例子来看看：在桌面的测试文件夹里，新建一个douban项目

1）在桌面创建一个文件夹，自己命名即可

 

PS：如果你的文件夹在其他盘，切换路径前，先切换一下盘符即可。

2）打开这个文件夹，点击红色框这里，可以看到这个文件的路径为：

【C:\Users\forchange\Desktop\测试文件夹】，复制这个路径

 

 

3）打开cmd，从上面文件夹路径【C:\Users\forchange\Desktop\测试文件夹】可以知道，这个文件夹在C盘，所以直接用：cd 路径，回车，即可以进入到测试文件夹中，如下图

C:\Users\forchange>cd C:\Users\forchange\Desktop\测试文件夹

 

切换成功之后，进行下一步，创建项目。

 

4）创建项目文件夹，输入：scrapy startproject [项目名称]，回车。

我这里命名为douban，所以是scrapy startproject douban。回车之后一个Scrapy项目就创建成功了～

 

创建成功之后，返回的内容如下：

 

5）回到桌面打开测试文件夹，可以看到已经有douban这个文件夹存在～

 

下面看看都有哪一些文件：

 

 

 

 

在vscode中打开该项目：

 

 

打开后是这样子：

 

新建两个文件：爬虫文件和main文件（爬虫文件我命名为top250）

 

 

创建文件小技巧：点击同级的文件，然后点击新建文件按钮。

比如：

创建main.py文件时，单击scrapy.cfg，然后再点击新建文件按钮

创建top250.py文件时，单击spiders文件夹下的__init__.py文件，然后再点击新建文件按钮

 

敲代码：略。注意敲完要保存~

 

 

二、scrapy 执行

 

2.1 cmd中运行

先转一下路径，转到项目douban文件夹。

比如我这个是打开cmd后输入一下命令

C:\Users\forchange>cd C:\Users\forchange\Desktop\测试文件夹\douban

 

再输入执行命令scrapy crawl douban，回车即可。

C:\Users\forchange\Desktop\测试文件夹\douban>scrapy crawl douban

 

2.2 编辑器中运行

vscode或者pycharm都一样，运行main.py文件。

main.py文件代码：

from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行。
cmdline.execute(['scrapy','crawl','douban'])
#用execute（）方法，输入运行scrapy的命令。

 

三、总结

一开始接触，比较陌生，可能会觉得比较难，重复操作几遍，其实就会觉得很简单！

无非是，切换路径、创建项目、创建爬虫文件、运行~~

 

-End-