爬虫——用Scrapy爬取清华某学院的教授信息

Scrapy爬取清华教授信息

第一个爬虫任务——爬取清华教授的信息。由于清华每个院的网站结构不一样，所以从其中一个院入手——我选择的是土木水利院，进行爬取，需要爬取的信息是教授的名字、教育背景、研究领域、学术成果（若干篇论文）以及百度学术中这些论文的摘要。

工具

使用scrapy框架，解析页面过程中使用xpath进行元素定位。

过程

1. 新建scrapy项目： 在打算存储该项目的目录下打开命令行，输入scrapy startproject tsinghua_professor；

2. 将项目导入pycharm，首先确定爬取的内容，编写items.py；

3. 编辑pipelines.py文件,把结果写到json文件里面

class TsinghuaProfessorPipeline(object):
    def