笔记：Scrapy 爬取豆瓣电影Top250

目标：用哪个Scarpy抓取豆瓣电影Top250的名称 主演 上映时间等，保存为csv json txt 等格式 最后保存到mondo数据库中，并用Robo 3T或NoSQL Manager for MongoDB操作查看

链接：https://movie.douban.com/top250

步骤：

1.新建项目：新建project，spider

2.明确目标：在Items中定义保存电影名字 主演等的容器

3.制作爬虫：设置settings  Middlewares 信息并编写爬虫

4.存储内容：存储为csv json 等格式 并存储到mongo数据库

 

具体思路：

1.新建项目：scrapy startproject   xxx ; scrapy genspider  (-t   basic ) spider  movie.douban.com/top250；

2.明确目标：抓取电影名称 制作介绍 主演 星级 评价 描述，在items中分别建立容器

法一：from scrapy import  Spider，Field                      法二：（2）import scrapy 

name = Field()                                                                             name = scrapy.Field()

3.爬虫编写：

（1）.常用的解析器可以用css，xpath，正则，BeautifulSoup等解析器这里采用xpath；xpath当不加extract_first（）时提取的是selector标签，当要提取一个标签多行时用extract（）；xpath提取信息时尽量提取那些属性较少的大标签，提取属性时一定要注意提取的属性是在哪种颜色的字体中！！！；

（2）.这里采用先把每个电影的selector大标签提取出来，然后才根据需要提取对应的title等属性

（3）.多行数据的处理，split()方法，通过指定分隔符对字符串进行切片；"".join方法把字符串加到一起

（4）.多页数据的提取一般是用递归的方法回调第一页数据...

 

4.数据存储

（1）在命令行中运行scrapy crawl spider -o csv或者-o json等用  -o保存文件，可以用notepad++，excel打开查看

（2）保存到mongo：

法一：采用4+2+2句保存（适用于简单的项目）这里采用这种简单的

法二：用函数方法实现（更正式）eg：

class MongoPipeline(object):
    collection_name = 'users'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmet