python Scrapy进阶（MongoDB）

MongoDB

简介

• MongoDB —— 非关系型数据库（像关系型数据库的非关系型数据库），数据类型灵活
• 优势
  1. 无数据结构限制，业务开发方便快捷
  2. 大数据量和高性能 —— 读写性能高
  3. 良好的支持 —— 支持跨平台安装

安装

• 下载地址：https://www.mongodb.com/download-center/community
• 安装 —— 教程：https://www.cnblogs.com/chy18883701161/p/11100560.html
  • 必须有data和log文件夹
  • 将MongoDB下的bin文件夹添加到环境变量

MongoDB的使用

数据库命名规范

1. 不能为空的字符串
2. 不能含有特殊字符
3. 全部小写
4. 不能和系统保留的数据库重名
5. 最多64个字节

MongoDB中的概念

SQL术语/概念	MongoDB术语/概念	解释/说明
database	database	数据库
table	collection	数据库表/集合
row	document	数据记录行/文档
column	field	字段/域
index	index	索引
primary key	primary key	主键

文档

• 概念 —— 是由字段和值对组成（结构为：{field1:value1,field2:value2,…}）
• 值的数据类型 —— 包括其他文档、数组和文档数组

# 以下文档包含各种类型的值
{
   
   _id: ObjectId("5099803df3f4948bd2f98391"),
   name: {
    first: "Alan", last: "Turing" },
   birth: new Date('Jun 23, 1912'),
   death: new Date('Jun 07, 1954'),
   contribs: [ "Turing machine", "Turing test", "Turingery" ],
   views : NumberLong(1250000)
}

MongoDB的数据类型

数据类型	描述
String	字符串。存储数据常用的数据类型，在MongoDB中，UTF-8编码的字符串才是合法的
Integer	整型数值。用于存储数值。根据采用的服务器，可分为32位或64位
Boolean	布尔值。用于存储布尔值
Double	双精度浮点值。用于存储浮点值
Min/Max keys	将一个值与BSON（二进制的JSON）元素的最低值和最高值相对比
Array	用于将数组或列表或多个值存为一个键
Timestamp	时间戳。记录文档修改或添加的具体时间
Object	用于内嵌文档
Null	用于创建空值
Symbol	符号。该数据类型基本上等同于字符串类型，但不同的是它一般用于采用特殊符号类型的语言
Date	日期时间。用UNIX时间格式来存储当前日期或时间。可以指定自己的日期时间：创建Date对象，传入年月日信息
Object ID	对象ID。用于创建文档的ID
Binary Data	二进制数据。用于存储二进制数据
Code	代码类型。用于在文档中存储JavaScript代码
Regular expression	正则表达式类型。用于存储正则表达式

启动和连接MongoDB

• 启动：mongod --dbpath path # path必须到data文件夹
• 连接：mongo # 新打开命令提示符窗口

基本使用

常用命令	含义
show dbs	查看数据库（自带3个数据库尽量不要使用：admin，config，local）
use 数据库名	选择使用的数据库，如果database没有则创建database的数据库
db	查看当前使用的数据库
show collections/table	查看集合/表
db.dropDatabase()	删除当前选择的数据库

条件操作符

条件操作符