爬虫
YANGTAOfyf
这个作者很懒,什么都没留下…
展开
-
Python爬虫 scrapy框架的学习心得和总结 (二)项目实操,手把手教你使用scrapy框架
我们以一个实例来讲述scrapy框架的用法,利用scrapy爬取豆瓣电影Top250的电影名称,链接,评分 第一步 创建一个scrapy框架的项目,打开终端输入scrapy startproject douban 我是在桌面的python文件夹中创建的,创建好之后打开文件夹你会看到一个douban的文件夹,说明创建成功,然后我们在编译器中打开文件夹 spiders是放置爬虫的目录。即在spid...原创 2020-02-16 23:30:49 · 1044 阅读 · 0 评论 -
Python爬虫 scrapy框架的学习心得和总结 (一)
经过了很长时间的学习和总结,我对scrapy框架已经有了熟练的应用和心得,现在就分享给大家,我会将我学习scrapy框架的所遇到的一些问题进行总结,并且将框架的使用和基本知识就行梳理。 1.为什么要学习使用框架? 我们编写爬虫代码时,往往会调用很多不同的模块,编写各种爬取流程的代码,而且根据不同的项目,编写的代码也不同,这个时候框架就尤为重要。框架就相当于我们制作PPT时的模板,有了模板我们更快的...原创 2020-02-16 16:07:19 · 3419 阅读 · 0 评论