分片的概念
分片是一种跨多平台及其分布数据的方法,MongoDB用分片来支持具有非常大的数据集和高吞吐量操作的部署。
通俗点说:分片是值将数据拆分,将其分散在不同的机器上的过程。有时也叫分区
MongoDB支持自动分片,完成自动切分数据,做负载均衡。
两种扩展方法
垂直扩展:增加单个服务器的容量。
水平扩展:增加服务器数量。
分片集群的组件
分片服务器(存储):每个分片包含分片数据的子集。每个分片都可以部署为副本集。
mongos(路由):mongos充当查询路由器,在客户端应用程序和集群之间提供接口。
config servers(调度的配置,即服务器):配置服务器存储集群的原数据和配置设置。新版本必须将配置服务器配置为副本集。
分片的工作原理
- 将集合切分成小块。这些块分散到若干分片里面,每个分片只负责总数据的一部分。
- 应用程序不必知道哪个分片对应哪些数据,只需连接到mongos路由进程,这个路由知道所有数据的存放位置,将客户端的请求转给对应的分片服务器。
- 对客户端来说,它仅知道连接到了一个普通的mongod服务器
- 分片服务器返回的响应,路由器将其收集起来进行合并,并返回给客户端。
何时进行分片
- 单个节点的磁盘空间不足
- 单个mongod已经不能满足写数据的性能要求,通过分片让写压力分散到各个分片服务器上。
- 把大量数据放到内存里提高性能,很显然单台服务器无法做到。通过分片, 利用多台分片服务器的内存资源。
分片集群架构
添加分片
sh.addShard(“IP:POST”)
Java操作MongoDB工作流程
- 连接MongoDB 服务器
- 连接数据库
- 设置操作的集合
- 进行操作
try {
//连接MongoDB 服务器,端口号为27017
MongoClient mongoClient = new MongoClient("localhost", 27017);
//连接数据库
MongoDatabase mDatabase = mongoClient.getDatabase("test"); //test可选
} catch (Exception e) {
System.err.println(
e.getClass().getName() + ": " + e.getMessage());
}
}
}
MongoCollection collection = database.getCollection("myTestCollection");
Document document = new Document("_id", 1999)
.append("title", "MongoDB Insert Demo")
.append("description","database")
.append("likes", 30)
.append("by", "demo point")
.append("url", "http://www.demo.com/mongodb/");
collection.insertOne(document);
Python链接MongoDB
import pymongo
conn = MongoClient(host='10.90.9.101',port=27017)
#获取数据库
db = conn["mydb"] #conn.get_database("mydb")
#获取集合
c1 = db["c1"] #db.get_collection("c1")
c1.insert_one({}) #插入一篇文档
c1.insert_many([{},{},....]) #插入多篇
#查询
c1.find_one({}) #查询一个
c1.find({}) #查询多个
#更新数据
c1.update({"name":"jack"},{"$set":{"age":200}}) #将jack的年龄改为200
#删除
c1.remove({"name":"jack"})
c1.delete_one({})
c1.delete_many({})