使用scrapy抓取传智播客c/c++讲师信息

实验一、scrapy爬虫

一、实验目的

1、数据抓取之网络爬虫。
2、scrapy的使用方法，能使用scrapy抓取网页数据。

二、能力图谱

三、实验内容

1.内容：爬取传智播客C/C++讲师的姓名、职称以及个人简介。
2.目标网址：http://www.itcast.cn/channel/teacher.shtml
3.软件： 已经成功 安装好scrapy框架 的pycharm软件 (专业版、社区版都可以)。
4.python3.7及以上。
5.使用scrapy框架实现爬虫，运用xpath解析方式。

四、实验过程

1、pycharm的卸载与安装

       自己之前在自己的笔记本上安装过专业版的pycharm，但是现在激活码过期了，在网上没能找到免费可用的激活码，同时自己以前安装的pycharm的版本不是最新的，所以选择了卸载重装。
关于卸载：
       有了以前重装软件出现的冲突的经验，为了防止重新安装最新社区版pycharm时出现冲突，要将pycharm卸载干净，网上找到了相关卸载方法:pycharm卸载
关于安装：
       为了避免软件安装后的出现的一些由于安装方式的错误，同样找了相关教程：pycharm安装教程

2、scrapy安装

按照老师上课讲解完成安装，结果如下：

3、创建scrapy项目工程

这里我直接进入scrapy的路径运行cmd是在命令行进行创建的，如下图：


创建完成后使用pycharm打开项目，如图：

4、创建写爬虫的文件

7

5、编写代码

5.1 itca