爬虫从入门到放弃(四),爬取你心目中的女神(校花网)

本次用scrapy框架来写一个爬虫,首先那,我们要在终端创建一个scrapy项目.
命令是:scrapy startproject +项目名字
第二步,我们cd进文件夹,命令是 cd 文件名
第三步,我们要创建一个爬虫 命令是:scrapy genspider +爬虫的名字 +初始化URL,这里的爬虫名字是你自己定义的,还有就是初始化URL,记得要去掉前面的http协议,如果你添加的话,你可以在你自己定义的爬虫文件中修改.
代码方面那,首先在item文件里面定义要你要爬取的内容:

第二步,修改自己创建的爬虫文件


第三步,写入json,修改pipelines.py

最后在settings.py里面修改一些基础配置

当然,最后的最后千万不要忘记了用:
scrapy crawl +爬虫名字 来运行爬虫.
爬虫运行完毕,json文件如下

好了,本次就介绍到这里了,咱们下期再见