今天补点旧账,去年搭建系统时,曾想用Mongodb做统计数据存储,被老大给否了。只因为楼上部门用Mongodb宕机后无法恢复,Mongodb在公司内留下了个坏名声。不过,貌似个别兄弟组做Hadoop统计时,还是通过Mongodb来完成的!
一个产品的好坏,不见得是自身质量问题,也有可能是使用不当的问题。不做深入了解,把知道的部分做个简单整理。
一般来说,根据数量级,两千万以内用MySQL, 两千万以上用Mongodb ,亿级别的用Hadoop。用来做统计,Mongodb还是有一定的优势!
集群配置相关链接:
征服 Mongodb 之 安装与系统服务配置
征服 Mongodb 之 主从复制&集群复制
基本操作相关链接:
征服 Mongodb 之 常用命令、基本数据类型
征服 Mongodb 之 Modifier初识
征服 Mongodb 之 Modifier增强
征服 Mongodb 之 CRUD
可以简单地把Mongodb理解为基于Json格式的文件数据库。
MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
它的特点是高性能、易部署、易使用,存储数据非常方便。主要功能特性有:
- 面向集合存储,易存储对象类型的数据。
- 模式自由。
- 支持动态查询。
- 支持完全索引,包含内部对象。
- 支持查询。
- 支持复制和故障恢复。
- 使用高效的二进制数据存储,包括大型对象(如视频等)。
- 自动处理碎片,以支持云计算层次的扩展性
- 支持RUBY,PYTHON,JAVA,C++,PHP等多种语言。
- 文件存储格式为BSON(一种JSON的扩展)
- 可通过网络访问
所谓“面向集合”(Collenction-Orented),意思是数据被分组存储在数据集中,被称为一个集合(Collenction)。每个 集合在数据库中都有一个唯一的标识名,并且可以包含无限数目的文档。集合的概念类似关系型数据库(RDBMS)里的表(table),不同的是它不需要定 义任何模式(schema)。
模式自由(schema-free),意味着对于存储在mongodb数据库中的文件,我们不需要知道它的任何结构定义。如果需要的话,你完全可以把不同结构的文件存储在同一个数据库里。
存储在集合中的文档,被存储为键-值对的形式。键用于唯一标识一个文档,为字符串类型,而值则可以是各中复杂的文件类型。我们称这种存储形式为BSON(Binary Serialized dOcument Format)。
一、安装
下载,解压:
#下载 curl http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.0.7.tgz > mongo.tgz #解压 tar zxvf mongo.taz
解压后,获得如下可执行文件(位于bin目录下)
COMPONENTS
- bin/mongod - The database process.
- bin/mongos - Sharding controller.
- bin/mongo - The database shell (uses interactive javascript).
UTILITIES
- bin/mongodump - MongoDB dump tool - for backups, snapshots, etc..
- bin/mongorestore - MongoDB restore a dump
- bin/mongoexport - Export a single collection to test (JSON, CSV)
- bin/mongoimport - Import from JSON or CSV
- bin/mongofiles - Utility for putting and getting files from MongoDB GridFS
- bin/mongostat - Show performance statistics
如果你想要方便地控制Mongodb, 可以把它们统统拷贝到/usr/local/bin 或者/usr/bin目录下。
#拷贝执行文件到/usr/local/bin目录下 cp mongodb-linux-x86_64-2.0.7/bin/* /usr/local/bin/ #建立数据目录 mkdir -p /data/db
现在,我们只要会用mongod就足够了:
#启动mongodb mongod
控制台:
Thu Aug 16 15:50:47 [initandlisten] MongoDB starting : pid=16571 port=27017 dbpath=/data/db/ 64-bit host=snowolf_zlex
Thu Aug 16 15:50:47 [initandlisten] db version v2.0.7, pdfile version 4.5
Thu Aug 16 15:50:47 [initandlisten] git version: 875033920e8869d284f32119413543fa475227bf
Thu Aug 16 15:50:47 [initandlisten] build info: Linux ip-10-2-29-40 2.6.21.7-2.ec2.v1.2.fc8xen #1 SMP Fri Nov 20 17:48:28 EST 2009 x86_64 BOOST_LIB_VERSION=1_41
Thu Aug 16 15:50:47 [initandlisten] options: {}
Thu Aug 16 15:50:47 [initandlisten] journal dir=/data/db/journal
Thu Aug 16 15:50:47 [initandlisten] recover : no journal files present, no recovery needed
Thu Aug 16 15:50:49 [initandlisten] preallocateIsFaster=true 19.78
Thu Aug 16 15:50:51 [initandlisten] preallocateIsFaster=true 17.72
Thu Aug 16 15:50:54 [initandlisten] preallocateIsFaster=true 15.54
Thu Aug 16 15:50:54 [initandlisten] preallocateIsFaster check took 6.027 secs
Thu Aug 16 15:50:54 [initandlisten] preallocating a journal file /data/db/journal/prealloc.0
1017118720/1073741824 94%
1059061760/1073741824 98%
Thu Aug 16 15:52:24 [initandlisten] preallocating a journal file /data/db/journal/prealloc.1
576716800/1073741824 53%
1006632960/1073741824 93%
1038090240/1073741824 96%
1069547520/1073741824 99%
Thu Aug 16 15:53:57 [initandlisten] preallocating a journal file /data/db/journal/prealloc.2
492830720/1073741824 45%
1017118720/1073741824 94%
1048576000/1073741824 97%
Thu Aug 16 15:55:44 [initandlisten] waiting for connections on port 27017
Thu Aug 16 15:55:44 [websvr] admin web console waiting for connections on port 28017
Thu Aug 16 15:56:44 [clientcursormon] mem (MB) res:15 virt:115 mapped:0
如日志所示,主要信息如下:
- 默认端口:27017
- 管理端口:28017
- 日志文件:/data/db/journal
启动Mongo:
mongo localhost:27017
默认连接test库,做个存取测试:
connecting to: localhost:27017/test
> db.test.save( { a: 1 } )
> db.test.find()
{ "_id" : ObjectId("502cb7704b1e6f7b39197628"), "a" : 1 }
>
我们也可以直接通过url访问Mongodb,http://localhost:28017/
二、基本配置
期望Mongodb能像Redis一样,有个conf文件,启动时加载,完成端口指定,日志指向,主从。那就先写个mongod.conf吧!
建立一个配置文件目录(/etc/mongodb):
mkdir -p /etc/mongodb
新建一个mongod.conf,填写如下内容:
dbpath=/data/db
logpath=/var/log/mongodb.log
logappend=true
journal=true
然后命令启动Mongodb:
mongod -f /etc/mongodb/mongod.conf
三、用户管理&权限控制
初始化后的Mongodb没有用户,如果需要限制相应读写权限,首先要创建相应的用户。
建立一个名为admin,密码为java的用户:
> db.addUser("admin","java")
{
"n" : 0,
"lastOp" : NumberLong("5946386838401843201"),
"connectionId" : 75,
"err" : null,
"ok" : 1
}
{
"user" : "admin",
"readOnly" : false,
"pwd" : "fd926a320a4b1dc42ac733fddd1bbb67",
"_id" : ObjectId("5285cf53b25001f49a941619")
}
查看系统用户:
> db.system.users.find()
{ "_id" : ObjectId("5285cf53b25001f49a941619"), "user" : "admin", "readOnly" : false, "pwd" : "fd926a320a4b1dc42ac733fddd1bbb67" }
这时,用户拥有读写权限,如果要限制为只读权限,可以在创建用户时,如下操作:
> db.addUser("zlex","snowolf",true)
{
"n" : 0,
"lastOp" : NumberLong("5946388131186999297"),
"connectionId" : 75,
"err" : null,
"ok" : 1
}
{
"user" : "zlex",
"readOnly" : true,
"pwd" : "4ad4d62463c1052d7e97fb2a223c6c6a",
"_id" : ObjectId("5285d080b25001f49a94161a")
}
删除用户:
db.system.users.remove({user:"zlex"})
db.addUser("admin","java")不光可以新增用户,也可以修改用户密码。
四、系统服务
自己写了个系统服务的Shell,可以正常的控制启动,关闭等。
touch /etc/init.d/mongodb chmod +x /etc/init.d/mongodb
mongodb文件内容如下:
#
# mongodb Startup script for mongodb processes
#
# author: snowolf
#
# processname: mongodb
mongodb_path="/usr/local/bin/mongod"
mongodb_conf="/etc/mongodb/mongodb.conf"
mongodb_pid="/var/run/mongodb.pid"
# Source function library.
. /etc/rc.d/init.d/functions
[ -x $mongodb_path ] || exit 0
RETVAL=0
prog="mongodb"
# Start daemons.
start() {
if [ -e $mongodb_pid -a ! -z $mongodb_pid ];then
echo $prog" already running...."
exit 1
fi
echo -n $"Starting $prog "
# Single instance for all caches
$mongodb_path --pidfilepath=$mongodb_pid --config $mongodb_conf
RETVAL=$?
[ $RETVAL -eq 0 ] && {
touch /var/lock/subsys/$prog
success $"$prog"
}
echo
return $RETVAL
}
# Stop daemons.
stop() {
echo -n $"Stopping $prog "
killproc -d 10 $mongodb_path
echo
[ $RETVAL = 0 ] && rm -f $mongodb_pid /var/lock/subsys/$prog
RETVAL=$?
return $RETVAL
}
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status $prog
RETVAL=$?
;;
restart)
stop
start
;;
condrestart)
if test "x`pidof mongodb`" != x; then
stop
start
fi
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart}"
exit 1
esac
exit $RETVAL
重启:
service mongodb restart
控制台:
Stopping mongodb [确定] Starting mongodb [确定]
备注下经验值:
1000*100*12 每小时新增数据条目数,磁盘IO出现瓶颈,需做sharding、优化Index。
集群配置相关链接:
征服 Mongodb 之 安装与系统服务配置
征服 Mongodb 之 主从复制&集群复制
基本操作相关链接: