1.新建项目 scrapy startproject boat
2. cd 进入 boat项目工程,创建爬虫 scrapy genspider -t basic doubanmovies douban.com
3.编写doubanmovies.py 爬虫文件
4.编写items.py
5.编写pipelines.py
6.编写settings.py
7.运行爬虫:scrapy crawl doubanmovies
如果使用的 是Python3.X请先安装 pymysql
项目中操作数据库如果想要使用mysqldb模块,直接在_init_.py中添加
即可使用。。。