1.引言
使用python的scrapy模块爬取豆瓣读书top250的图书信息,以json的形式保存并存储到mysql。项目所爬取的网站:https://book.douban.com/top250
2.实现代码
- 创建scrapy项目打开命令行在切换到预存储目录中,运行 scrapy startproject douban
生成项目
2.定义item容器
找到items.py文件,这个主要使用来封装爬虫所要爬取的字段。
3.编写spider在项目的spiders目录下新建python文件,用来编写爬取数据的类
其中对数据的解析可通过浏览器的审查元素中找到对应字段的数据,如tiltle自段为tr[@class="item”]中的td[@valign=“top”]/div[@class=“pl2”]/a/@title。