scrapy爬虫，一直爬，一直爽（豆瓣电影为例子）（学习笔记）

我的scrapy爬虫，一直爬，一直爽

1.python（注意自己安装的版本）

2.lxml

3.Twisted

4.zope.interface

5.PyOpenSSL

6.pywin32

当面对一些包不能用

pip install XXX

的形式安装时，要到whl文件安装whl文件，下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml。注意，要找到与你安装的ppython版本一致的文件。通过whl文件安装，首先要安装wheel包。把下载好的whl文件放到python的Lib目录下，最后到cmd下运行

pip install XXX.whl

即可。

MongoDB

1.安装：下载连接https://www.mongodb.com/download-center?jmp=nav#community

2.配置环境变量，把mongodb下的bin的安装目录设置为环境变量。可以打开cmd测试有没有配置好

3.先在mongodb安装文件下找到data文件，并在里边创建db文件，这个文件将是以后存放数据的地方，在cmd在运行以下命令，打开数据库服务器

  #设置db为数据存放路径，注意代码块里边的地址是db文件夹的地址，这个命令是打开数据库服务器的。每次要打开数据库服务器都要运行这条命令。 #在浏览器输入http://localhost:27017/  
#若显示:It looks like you are trying to access MongoDB over HTTP on the native driver port. 表示成功连接  27017是默认本地端

3.下面就可以启动数据库的客户端，由于我们设置了mongodb为环境变量，所以可以在cmd直接输入（注意要保持打开的mongodb数据库端口不能关闭）：

mongo  #启动数据库客户端，注意，要先打开数据库服务器后才能打开数据库客户端，数据库客户端是用来对数据进行增删改查的，

MongoDB的基本操作

服务器(serve)：一个服务器可以有多个数据库

数据库(database)：一个数据库可以多个集合

集合(collection)：一个集合可以多个文件，数据库和集合不需要单独创建

文档(document)：数据就在文档里，操作也在这里

show dbs #显示所有数据库

use 数据库名 #进入指定数据库

db #显示当前数据库

show collections

1、http://mongovue.software.informer.com/download/ 下载官方mongovue工具(可视化管理工具)

---

爬虫实例步骤

1.创建爬虫项目

打开cmd，进入所要创建爬虫项目的文件夹，运行以下命令，创建爬虫项目

D:\scrapy>scrapy startproject bouban 

2.进入爬虫项目，创建爬虫文件，爬虫文件命令要包括爬虫名和所爬网站的域名

scrapy genspider douban_spider movie.douban.com #创建爬虫文件，此处包括爬虫文件名和网站域名

3.在代码编辑器（这里选择sublime text）打开创建好的项目文件，编写相关的代码块

##item，item作用是提前设定好需要爬取的变量名
import scrapy
class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    serial_number = scrapy.Field()
    movie_name = scrapy.Field()
    # introduce = scrapy.Field()
    # star = scrapy.Field()
    evaluate = scrapy.Field()
    # describe  = scrapy.Field()
    

##setting文件常用设置
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'##更该代理，chrome浏览器->F12->F5->top250->header->user_agent,找到替换就行
ROBOTSTXT_OBEY = False##爬虫遵循规则
LOG_LEVEL = 'WARN'##日志显示水平等级
ITEM_PIPELINES = {
   
   'douban.pipelines.DoubanPipeline': 300,
}###运用管道的时候要用到
FEED_EXPORT_ENCODING = 'UTF-8'#用cmd命令输出文件时格式


###spider.py

# -*- coding: utf-8 -*-
import scrapy

import sys
import os
fpath