实验一、scrapy爬虫
一、实验目的
1、数据抓取之网络爬虫。
2、scrapy的使用方法,能使用scrapy抓取网页数据。
二、能力图谱
三、实验内容
1.内容:爬取传智播客C/C++讲师的姓名、职称以及个人简介。
2.目标网址:http://www.itcast.cn/channel/teacher.shtml
3.软件: 已经成功 安装好scrapy框架 的pycharm软件 (专业版、社区版都可以)。
4.python3.7及以上。
5.使用scrapy框架实现爬虫,运用xpath解析方式。
四、实验过程
1、pycharm的卸载与安装
自己之前在自己的笔记本上安装过专业版的pycharm,但是现在激活码过期了,在网上没能找到免费可用的激活码,同时自己以前安装的pycharm的版本不是最新的,所以选择了卸载重装。
关于卸载:
有了以前重装软件出现的冲突的经验,为了防止重新安装最新社区版pycharm时出现冲突,要将pycharm卸载干净,网上找到了相关卸载方法:pycharm卸载
关于安装:
为了避免软件安装后的出现的一些由于安装方式的错误,同样找了相关教程:pycharm安装教程
2、scrapy安装
按照老师上课讲解完成安装,结果如下:
3、创建scrapy项目工程
这里我直接进入scrapy的路径运行cmd是在命令行进行创建的,如下图:
创建完成后使用pycharm打开项目,如图:
4、创建写爬虫的文件
7