使用mongofiles操作GridFS

http://www.xker.com/page/e2015/05/191682.html

一、什么是bson

BSON是一种类json的一种二进制形式的存储格式，简称Binary JSON，它和JSON一样，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型。

BSON可以做为网络数据交换的一种存储形式，这个有点类似于Google的Protocol Buffer，但是BSON是一种schema-less的存储形式，它的优点是灵活性高，但它的缺点是空间利用率不是很理想，BSON有三个特点：轻量性、可遍历性、高效性，
{“hello":"world"} 这是一个BSON的例子，其中"hello"是key name，它一般是cstring类型，字节表示是cstring::= (byte*) "/x00" ,其中*表示零个或多个byte字节，/x00表示结束符;后面的"world"是value值，它的类型一般是string,double,array,binarydata等类型。
 
二、bson在MongoDB中的使用

MongoDB使用了BSON这种结构来存储数据和网络数据交换。把这种格式转化成一文档这个概念(Document)，因为BSON是schema-free的，所以在MongoDB中所对应的文档也有这个特征，这里的一个Document也可以理解成关系数据库中的一条记录(Record)，只是这里的Document的变化更丰富一些，如Document可以嵌套。
MongoDB以BSON做为其存储结构的一种重要原因是其可遍历性。
 
三、几个BSON的例子

3.1 一个Document的BSON表示：

代码如下:

{  
title:"MongoDB",  
last_editor:"192.168.1.122",  
last_modified:new Data("27/06/2011"),  
body:"MongoDB introduction",  
categories:["Database","NoSQL","BSON"],  
revieved:false  
}  

这是一个简单的BSON结构体，其中每一个element都是由key/value对组成的

3.2 一个嵌套的例子

代码如下:

{  
name:"lemo",  
age:"12",  
address:{  
city:"suzhou",  
country:"china",  
code:215000  
}  
scores:[  
{"name":"english","grade:3.0},  
{"name":"chinese","grade:2.0}  
]  
}  

这是一种相对复杂点的例子，其中包括了地址对象和分数对象数组，这里使用了嵌套文档对象与文档对象数据来表示单个学生的信息，这种嵌套的文档结构要使用关系数据库来做是比较复杂的。
 
4. BSON c++ 代码分析

MongoDB源代码树中包括了BSON的代码库，你只要包含bson.h这个头文件就行了，其中有四个类是比较重要的：

代码如下:

* mongo::BSONObj，这个是BSON对象的表示  
* mongo::BSONElement，这个是BSON对象中元素的表示方法   
* mongo::BSONObjBuilder,这是构建BSON对象的类  
* mongo::BSONObjIterator，这是用来遍历BSON对象中每一个元素的一个迭代器  

下面是创建一个BSON对象

代码如下:

BSONObjBuilder b;  
b.append("name","lemo"),  
b.append("age",23);  
BSONObj p = b.obj();  

或者

代码如下:

BSONObj p = BSONObjBuilder().append("name","lemo").append("age",23).obj();  

或者用流的方法来

代码如下:

BSONObjBuilder b;  
b << "name" << "lemo" << "age" << 23;  
BSONObj p = b.obj();  

或者用宏来创建一个对象

代码如下:

BSONObj p = BSON( "name" << "Joe" << "age" << 33 );  

这里分析一下这四个类的一些代码：
mongo::BSONObj主要是用于存储BSON对象的，具体的存储格式如下

代码如下:

 <unsigned totalSize> {<byte BSONType><cstring FieldName><Data>}* EOO  
        --------------------              -------------                -----------------               ----           ---  
totalSize: 一个总的字节长度，包含自身  
BSONType: 对象类型,这里有Boolean,String,Date等类型，具体可以参考bsontypes.h这个文件 
FieldName: 这里表示字段名  
Data: 这里是放具体的数据，数据的存储方式根据不同的BSONType来  
* : 表示可以有多个元素组成  
EOO: 这是一个结束符，一般是/x00来表示  

一般来说，BSONObj的创建都是通过BSONObjBuilder来做的，除非你已经得到了其字节流，那可以直接生成BSONObj
 
mongo::BSONElement 它主要是用于存储对象中的单个元素，存储格式如下

代码如下:

<type><fieldName><value>  

这个对象主要是指向BSONObj对象中具体元素的地址，它不实际存储元素的值。
mongo::BSONObjBuilder 它主要是用于生成BSONObj，这个对象集成了StringBuilder,它主要用于存储实际的字节点，用于替换std::stringstream，而这个StringBuilder集成了BufBuilder,这是一个可以动态增长内存缓冲区，但最大容量不能超过64MB的大小，也就是说一个BSONObj最大不能超过64MB。
 
mongo::BSONOBjIterator 它主要是用来遍历BSONObj对象中的每一个元素，提供了类似于stl iterator的一些接口，它还提供了一个ForEach宏来提供更方便的操作，如

代码如下:

if (foo) {  
           BSONForEach(e, obj)  
               doSomething(e);  
       }

使用mongofiles操作GridFS

GridFS描述：

       GridFS,看起来像一种文件系统，其实是一种数据库用法。主要用来在数据库中存储二进制大文件。可以统一用数据库处理数据，而无需借助外部的文件系统。另外，还可以利用MongoDB的复制或者是分片机制，其故障恢复和可扩展性较好。使用这种方式存储，可以避免使用文件系统的某些限制，例如平台的差异性导致存储需要做特殊处理（Linux在同一目录下的文件数限制），还可以避免文件碎片（MongoDB分配空间以2GB作为单位），这样数据存放相对较集中，即使有文件碎片，相对来说，其程度也要比操作系统的碎片程度低得多。

操作环境：Win8   64位操作系统，虚拟机 CentOS5.5.

操作步骤：

    （1） 启动mongoDB服务器：

[plain]  view plain  copy

 print ?

1. [root@h3 ~]# mongod -f /etc/mongod.conf  
2. Mon Aug 12 13:07:19.737  
3. Mon Aug 12 13:07:19.739 warning: 32-bit servers don't have journaling enabled by default. Please use --journal if you want durability.  
4. Mon Aug 12 13:07:19.740  
5. about to fork child process, waiting until server is ready for connections.  
6. forked process: 22881  
7. all output going to: /var/log/mongo/mongod.log  
8. child process started successfully, parent exiting  
9. [root@h3 ~]#  

     （2）准备文件：

[plain]  view plain  copy

 print ?

1. [root@h3 dbs]# echo 'hello mongoDB' >> test.txt  
2. [root@h3 dbs]# cat test.txt  
3. hello mongoDB  

  （3）将文件写入mongoDB：

[plain]  view plain  copy

 print ?

1. [root@h3 dbs]# mongofiles put test.txt  
2. connected to: 127.0.0.1  
3. added file: { _id: ObjectId('520871172918b24487573832'), filename: "test.txt", chunkSize: 262144, uploadDate: new Date(1376284952450), md5: "f595caa8025995fab85484de67dc8549", length: 14 }  
4. done!  

  （4） 查看文件：

[plain]  view plain  copy

 print ?

1. [root@h3 dbs]# mongofiles list  
2. connected to: 127.0.0.1  
3. test.txt        14  

    （5）删除建立的test.txt文件 ：

[plain]  view plain  copy

 print ?

1. [root@h3 dbs]# rm -rf test.txt  

   （6）查看数据：

[plain]  view plain  copy

 print ?

1. [root@h3 dbs]# mongofiles get test.txt  
2. connected to: 127.0.0.1  
3. done write to: test.txt  
4. [root@h3 dbs]# cat test.txt  
5. hello mongoDB  

操作完成！