Python高级实例引入:

为了 方便 爬取更多我们想爬取的网页,我们引入了一个python框架——Scrapy。

1.我们先来安装它——在终端python解释器安装路径下,输入指令: pip install scrapy

当安装成功后,我们来使用它,继续在本环境下,我们创建scrapy项目,输入指令:

scrapy startproject 项目名称;

2. 执行完命令后,我们打开pycharm后,会看到如下的新建项目

 简单认识后,我们继续来认识scrapy框架操作原理:

 

 这些都是隐式操作,对我们正常操作并没有太大影响,所以接下来我们继续操作scrapy框架:

在执行完上面新建项目指令后,我们接着输入新的一条指令:

cd 目录名字/目录名字/spiders;

然后我们再输入一条指令:scrapy genspider   ‘爬虫名字’  网页的域名;

这时,我们才真正完整的创建了一个scrapy项目;那怎么运行呢?

scrapy crawl  爬虫名称;

如果我们想输出测试一下的话,我们可以在新建项目下找到 名为 (自己上面输入指令时的)‘爬虫名字’的文件,然后在里面的def方法里面写入print(‘测试成功’),然后再次运行指令:scrapy crawl  爬虫名称即可,即可看到在终端环境下,输出一堆信息和四个汉字——测试成功。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值