Scrapy入门
ForgetXue
致力于javaWeb学习的学生党!
展开
-
Scrapy的基本用法
1安装scrapy 如果使用大于3.8版本的conda直接可以用conda安装,在cmd中cd到conda文件夹下的Lib文件夹所在的目录下输入命令conda install scrapy 即可。 2创建一个scrapy项目 安装scrapy好后,记得把scrapy所在的路径添加用户环境变量Path中去,默认是conda文件夹的Scripts文件夹。添加完环境变量后在控制台输入scrapy sta...原创 2019-09-27 21:10:07 · 626 阅读 · 0 评论 -
Scrapy爬虫通用框架
1.认识CrawlSpider 通用爬虫框架是旨在爬取一些类似的spiders时减少代码的重复编写,用一个模板来实现爬取不同的spiders,把这些不同的部分做成配置文件,然后再爬取的时候动态配置到这个模板中,于是就实现了只需编写一个spider就可以爬取多个网页。 在写这个模板的时候,要编写这个spider继承自CrawlSpider,他是Spiders类的子类。 1.它新增了一个新的属性: r...原创 2019-10-07 20:57:30 · 224 阅读 · 0 评论