第3章-文档型数据库MongoDB
1 MongoDB简介
1.1 吐槽和评论数据特点分析
吐槽和评论两项功能存在以下特点:
(1)数据量大
(2)写入操作频繁
(3)价值较低 对于这样的数据,我们更适合使用MongoDB来实现数据的存储
1.2 什么是MongoDB
MongoDB 是一个跨平台的,面向文档的数据库,是当前 NoSQL 数据库产品中最热 门的一种。它介于关系数据库和非关系数据库之间,是非关系数据库当中功能最丰富,最 像关系数据库的产品。它支持的数据结构非常松散,是类似 JSON 的 BSON 格式,因此可以 存储比较复杂的数据类型。 MongoDB 的官方网站地址是:http://www.mongodb.org/
1.3 MongoDB特点
MongoDB 最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象 的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建 立索引。它是一个面向集合的,模式自由的文档型数据库。 具体特点总结如下:
(1)面向集合存储,易于存储对象类型的数据
(2)模式自由
(3)支持动态查询
(4)支持完全索引,包含内部对象
(5)支持复制和故障恢复
(6)使用高效的二进制数据存储,包括大型对象(如视频等)
(7)自动处理碎片,以支持云计算层次的扩展性
(8)支持 Python,PHP,Ruby,Java,C,C#,Javascript,Perl 及 C++语言的驱动程 序,社区中也提供了对 Erlang 及.NET 等平台的驱动程序
(9) 文件存储格式为 BSON(一种 JSON 的扩展)
1.4 MongoDB体系结构
MongoDB 的逻辑结构是一种层次结构。主要由: 文档(document)、集合(collection)、数据库(database)这三部分组成的。逻辑结构是面 向用户的,用户使用 MongoDB 开发应用程序使用的就是逻辑结构。
(1)MongoDB 的文档(document),相当于关系数据库中的一行记录。
(2)多个文档组成一个集合(collection),相当于关系数据库的表。
(3)多个集合(collection),逻辑上组织在一起,就是数据库(database)。
(4)一个 MongoDB 实例支持多个数据(database)。
下表是MongoDB与MySQL数据库逻辑结构概念的对比
1.5 数据类型
基本数据类型
null:用于表示空值或者不存在的字段,{“x”:null}
布尔型:布尔类型有两个值true和false,{“x”:true}
数值:shell默认使用64为浮点型数值。{“x”:3.14}或{“x”:3}。对于整型值,可以使用 NumberInt(4字节符号整数)或NumberLong(8字节符号整数), {“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}
字符串:UTF-8字符串都可以表示为字符串类型的数据,{“x”:“呵呵”}
日期:日期被存储为自新纪元依赖经过的毫秒数,不存储时区,{“x”:new Date()}
正则表达式:查询时,使用正则表达式作为限定条件,语法与JavaScript的正则表达式相 同,{“x”😕[abc]/}
数组:数据列表或数据集可以表示为数组,{“x”: [“a“,“b”,”c”]}
内嵌文档:文档可以嵌套其他文档,被嵌套的文档作为值来处理,{“x”:{“y”:3 }}
对象Id:对象id是一个12字节的字符串,是文档的唯一标识,{“x”: objectId() }
二进制数据:二进制数据是一个任意字节的字符串。它不能直接在shell中使用。如果要 将非utf-字符保存到数据库中,二进制数据是唯一的方式。
代码:查询和文档中可以包括任何JavaScript代码,{“x”:function(){/…/}}
2 走进MongoDB
1.5.2 Docker 环境下MongoDB安装
在宿主机创建mongo容器
docker run -di --name=tensquare_mongo ‐p 27017:27017
MongoDB的图形化管理工具可以使用NoSQLBooster for MongoDB
以吐槽表为例讲解MongoDB常用命令
2.2 常用命令
2.2.1 选择和创建数据库
选择和创建数据库的语法格式:
use 数据库名称
如果数据库不存在则自动创建
以下语句创建spit数据库
use spitdb
2.2.2 插入与查询文档
插入文档的语法格式:db.集合名称.insert(数据);
我们这里可以插入以下测试数据:
db.spit.insert({content:"听说你很帅呀",userid:"1011",nickname:"小 雅",visits:NumberInt(902)})
查询集合的语法格式:
db.集合名称.find()
如果我们要查询spit集合的所有文档,我们输入以下命令
db.spit.find()
这里你会发现每条文档会有一个叫_id的字段,这个相当于我们原来关系数据库中表的主 键,当你在插入文档记录时没有指定该字段,MongoDB会自动创建,其类型是ObjectID 类型。如果我们在插入文档记录时指定该字段也可以,其类型可以是ObjectID类型,也 可以是MongoDB支持的任意类型。
输入以下测试语句:
db.spit.insert({_id:"1",content:"我还是没有想明白到底为啥出 错",userid:"1012",nickname:"小明",visits:NumberInt(2020)});
db.spit.insert({_id:"2",content:"加班到半夜",userid:"1013",nickname:"凯 撒",visits:NumberInt(1023)});
db.spit.insert({_id:"3",content:"手机流量超了咋 办?",userid:"1013",nickname:"凯撒",visits:NumberInt(111)});
db.spit.insert({_id:"4",content:"坚持就是胜利",userid:"1014",nickname:"诺 诺",visits:NumberInt(1223)});
如果我想按一定条件来查询,比如我想查询userid为1013的记录,怎么办?很简单!只 要在find()中添加参数即可,参数也是json格式,如下:
db.spit.find({userid:'1013'})
如果你只需要返回符合条件的第一条数据,我们可以使用findOne命令来实现
db.spit.findOne({userid:'1013'})
如果你想返回指定条数的记录,可以在find方法后调用limit来返回结果,例如:
db.spit.find().limit(3)
2.2.3 修改与删除文档
修改文档的语法结构:
db.集合名称.update(条件,修改后的数据)
如果我们想修改_id为1的记录,浏览量为1000,输入以下语句:
db.spit.update({_id:"1"},{visits:NumberInt(1000)})
执行后,我们会发现,这条文档除了visits字段其它字段都不见了
,为了解决这个问题, 我们需要使用修改器$set来实现,命令如下:
db.spit.update({_id:"2"},{$set:{visits:NumberInt(2000)}})
删除文档的语法结构:
db.集合名称.remove(条件)
以下语句可以将数据全部删除,请慎用
db.spit.remove({})
如果删除visits=1000的记录,输入以下语句
db.spit.remove({visits:1000})
2.2.4 统计条数
统计记录条件使用count()方法。以下语句统计spit集合的记录数
db.spit.count()
如果按条件统计 ,例如:统计userid为1013的记录条数
db.spit.count({userid:"1013"})
2.2.5 模糊查询
MongoDB的模糊查询是通过正则表达式的方式实现的。格式为:
/模糊查询字符串/
例如,我要查询吐槽内容包含“流量”的所有文档,代码如下:
db.spit.find({content:/流量/})
如果要查询吐槽内容中以“加班”开头的,代码如下:
db.spit.find({content:/^加班/})
2.2.6 大于 小于 不等于
<, <=, >, >= 这个操作符也是很常用的,格式如下:
db.集合名称.find({ "field" : { $gt: value }}) // 大于: field > value
db.集合名称.find({ "field" : { $lt: value }}) // 小于: field < value
db.集合名称.find({ "field" : { $gte: value }}) // 大于等于: field >= value
db.集合名称.find({ "field" : { $lte: value }}) // 小于等于: field <= value
db.集合名称.find({ "field" : { $ne: value }}) // 不等于: field != value
示例:查询吐槽浏览量大于1000的记录
db.spit.find({visits:{$gt:1000}})
2.2.7 包含与不包含
包含使用$in操作符。
示例:查询吐槽集合中userid字段包含1013和1014的文档
db.spit.find({userid:{$in:["1013","1014"]}})
不包含使用$nin操作符。
示例:查询吐槽集合中userid字段不包含1013和1014的文档
db.spit.find({userid:{$nin:["1013","1014"]}})
2.2.8 条件连接
我们如果需要查询同时满足两个以上条件,需要使用$and操作符将条件进行关联。(相 当于SQL的and)
格式为:
$and:[ { },{ },{ } ]
示例:查询吐槽集合中visits大于等于1000 并且小于2000的文档
db.spit.find({$and:[ {visits:{$gte:1000}} ,{visits:{$lt:2000} }]})
如果两个以上条件之间是或者的关系,我们使用 操作符进行关联,与前面and的使用 方式相同
格式为:
$or:[ { },{ },{ } ]
示例:查询吐槽集合中userid为1013,或者浏览量小于2000的文档记录
db.spit.find({$or:[ {userid:"1013"} ,{visits:{$lt:2000} }]})
2.2.9 列值增长
如果我们想实现对某列值在原有值的基础上进行增加或减少,可以使用$inc运算符来实现
db.spit.update({_id:"2"},{$inc:{visits:NumberInt(1)}} )
3 Java操作MongoDB
3.1 SpringDataMongoDB
SpringData家族成员之一,用于操作MongoDb的持久层框架,封装了底层的mongodb- driver。
我们十次方项目的吐槽微服务就采用SpringDataMongoDB框架
4 吐槽微服务
4.1 需求分析
采用SpringDataMongoDB框架实现吐槽微服务的持久层。 实现功能:
(1)基本增删改查API
(2)根据上级ID查询吐槽列表
(3)吐槽点赞
(4)发布吐槽
4.2 代码编写
4.2.1 模块搭建
(1)搭建子模块 tensquare_spit
(2)pom.xml引入依赖
<dependency>
<groupId>com.tensquare</groupId>
<artifactId>tensquare_common</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
(3)创建application.yml
server:
port: 9006
spring:
application:
name: tensquare-spit
data:
mongodb:
host: 192.168.11.131
database: spitdb
(4)创建启动类
@SpringBootApplication
public class SpitApplication {
public static void main(String[] args) {
SpringApplication.run(SpitApplication.class);
}
@Bean
public IdWorker idWorker(){
return new IdWorker(1,1);
}
}
4.2.2基本增删改查API实现
(1)创建实体类
创建包com.tensquare.spit,包下建包pojo 用于存放实体类,创建实体类
package com.tensquare.search.spit.pojo;
import org.springframework.data.annotation.Id;
import java.io.Serializable;
import java.util.Date;
/**
* 吐槽
*/
public class Spit implements Serializable {
@Id
private String _id;
private String content;
private Date publishtime;
private String userid;
private String nickname;
private Integer visits;
private Integer thumbup;
private Integer share;
private Integer comment;
private String state;
private String parentid;
public String get_id() {
return _id;
}
public void set_id(String _id) {
this._id = _id;
}
public String getContent() {
return content;
}
public void setContent(String content) {
this.content = content;
}
public Date getPublishtime() {
return publishtime;
}
public void setPublishtime(Date publishtime) {
this.publishtime = publishtime;
}
public String getUserid() {
return userid;
}
public void setUserid(String userid) {
this.userid = userid;
}
public String getNickname() {
return nickname;
}
public void setNickname(String nickname) {
this.nickname = nickname;
}
public Integer getVisits() {
return visits;
}
public void setVisits(Integer visits) {
this.visits = visits;
}
public Integer getThumbup() {
return thumbup;
}
public void setThumbup(Integer thumbup) {
this.thumbup = thumbup;
}
public Integer getShare() {
return share;
}
public void setShare(Integer share) {
this.share = share;
}
public Integer getComment() {
return comment;
}
public void setComment(Integer comment) {
this.comment = comment;
}
public String getState() {
return state;
}
public void setState(String state) {
this.state = state;
}
public String getParentid() {
return parentid;
}
public void setParentid(String parentid) {
this.parentid = parentid;
}
}
(2)创建数据访问接口
com.tensquare.spit包下创建dao包,包下创建接口
package com.tensquare.search.spit.dao;
import com.tensquare.search.spit.pojo.Spit;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.Pageable;
import org.springframework.data.mongodb.repository.MongoRepository;
public interface SpitDao extends MongoRepository<Spit, String> {
Page<Spit> findByParentid(String parentId, Pageable pageable);
}
(3)创建业务逻辑类
com.tensquare.spit包下创建service包,包下创建类
package com.tensquare.search.spit.service;
import com.tensquare.search.spit.dao.SpitDao;
import com.tensquare.search.spit.pojo.Spit;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.mongodb.core.query.Query;
import org.springframework.data.mongodb.core.query.Update;
import org.springframework.stereotype.Service;
import util.IdWorker;
import java.util.List;
@Service
public class SpitService {
@Autowired
SpitDao spitDao;
@Autowired
IdWorker idWorker;
@Autowired
MongoTemplate mongoTemplate;
public List<Spit> findAll() {
return spitDao.findAll();
}
/*** 增加 * @param spit */
public void add(Spit spit) {
spit.set_id(String.valueOf(idWorker.nextId()));
spitDao.save(spit);
}
/**
* 修改
* @param spit
*/
public void update(Spit spit) {
spitDao.save(spit);
}
/*** 删除 * @param id */
public void deleteById(String id) {
spitDao.deleteById(id);
}
/**
* 根据id查找记录
* @param id
* @return
*/
public Spit findById(String id) {
return spitDao.findById(id).get();
}
/**
* 根据上级ID查询吐槽列表(分页)
* @param parentId
* @param page
* @param size
* @return
*/
public Page<Spit> findByParentId(String parentId, int page, int size){
PageRequest request = PageRequest.of(page-1, size);
return spitDao.findByParentid(parentId, request);
}
}
4.2.3 吐槽点赞
我们看一下以下点赞的代码: SpitService 新增updateThumbup方法
/**
* 吐槽点赞
* @param id
*/
public void updateThumbup(String id){
Query query = new Query();
query.addCriteria(Criteria.where("_id").is(id));
Update update = new Update();
update.inc("thumbup", 1);
mongoTemplate.updateFirst(query, update, "spit");
}
4.2.4 控制不能重复点赞
我们可以通过redis控制用户不能重复点赞
(1)首先引入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
修改application.yml, 在spring的节点下
加;
redis:
host: 192.168.11.131
(3)修改SpitController代码逻辑
@Autowired
private RedisTemplate redisTemplate;
/**
* 点赞
*
* @param spitId
* @return
*/
@RequestMapping(value = "/thumbup/{spitId}", method = RequestMethod.PUT)
public Result updateThumbup(@PathVariable String spitId) {
String userid = "2023";// 后边我们会修改为当前登陆的用户
if(redisTemplate.opsForValue().get("thumbup_" + userid + "_" + spitId) != null){
return new Result(false,StatusCode.REPERROR,"你已经点过赞了");
}
spitService.updateThumbup(spitId);
return new Result(true, StatusCode.OK, "点赞成功");
}
4.2.5 发布吐槽
修改SpitService的add方法
/*** 增加 * @param spit */
public void add(Spit spit) {
/*** 发布吐槽(或吐槽评论) * @param spit */
spit.set_id( idWorker.nextId()+"" );
spit.setPublishtime(new Date());//发布日期
spit.setVisits(0);//浏览量
spit.setShare(0);//分享数
spit.setThumbup(0);//点赞数
spit.setComment(0);//回复数
spit.setState("1");//状态
if(spit.getParentid()!=null && !"".equals(spit.getParentid())){// 如果存在上级ID,评论
Query query=new Query();
query.addCriteria(Criteria.where("_id").is(spit.getParentid()));
Update update=new Update();
update.inc("comment",1);
mongoTemplate.updateFirst(query,update,"spit");
}
spitDao.save(spit);
}