NoSql
scalad
github地址:https://github.com/scalad
展开
-
MongoDB Shell使用
MongoDB自带一个JavaScript Shell,可以使用命令与MongoDB实例交互。通过Shell可以对MongoDB数据进行操作。1.一般的会把MongoDB的bin目录加入到系统的环境变量下,这样子方便操作,不用每次进入到bin目录下启动,通过执行mongo命令来启动Shell2.运行Sheel时会自动连接MongoDB服务器,所以在启动之前必须先启动MongoDB服原创 2015-09-22 19:41:18 · 2663 阅读 · 0 评论 -
ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2997: Encountered IOException. File or directory null
pig运行时报错:grunt>ls2015-11-11 20:24:39,159 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2997: Encountered IOException. File or directory null does not exist.Details at logfile: /silen原创 2015-11-11 20:27:51 · 1734 阅读 · 0 评论 -
MongoDB中ObjectId组成及源码
一、 ObjectId的组成首先通过终端命令行,向mongodb的collection中插入一条不带“_id”的记录。然后,通过查询刚插入的数据,发现自动生成了一个objectId,4e7020cb7cac81af7136236b。具体操作如图1所示。图1 插入/查询数据“4e7020cb7cac81af7136236b”这个24位的字符串,虽然看起来很长,也很难理解,但实转载 2015-09-22 18:22:42 · 4465 阅读 · 0 评论 -
Spring Data与MongoDB:不协调的设计
MongoDB是一款非常知名的NoSQL文档数据库,而Spring则是Java领域著名的开源框架。除了构成Spring核心的IoC与AOP之外,Spring也有大量应用于各个不同领域的子框架,其中Spring Data就是专门针对数据处理的一个子项目。在Spring Data下有Spring Data JPA、Spring Data MongoDB、Spring Data Redis等子项转载 2015-10-12 23:37:22 · 587 阅读 · 0 评论 -
Capped集合
Capper集合是固定大小的集合,有很高的性能及过期特性:即创建时要预先指定大小,如果空间用完,新的对象将会取代集合中最旧的对象一. 特性:执行find方法查询,如果没有指定顺序,返回的结果就是按照插入顺序,Capped集合会自动维护集合中的对象的插入顺序,如果需要指定倒序排序,可以使用find().sort($natural:-1)返回倒序二. 使用约束:原创 2015-09-23 20:32:18 · 968 阅读 · 0 评论 -
Hbase与Oracle比较(列式数据库与行式数据库)
1 主要区别1.1、Hbase适合大量插入同时又有读的情况1.2、 Hbase的瓶颈是硬盘传输速度,Oracle的瓶颈是硬盘寻道时间。 Hbase本质上只有一种操作,就是插入,其更新操作是插入一个带有新的时间戳的行,而删除是插入一个带有插入标记的行。其主要操作是收集内存中一批数据,然后批量的写入硬盘,所以其写入的速度主要取决于硬盘传输的速度。Oracle则不同,因为他经常要随机读写,转载 2015-10-27 19:00:04 · 761 阅读 · 0 评论 -
几张图看懂列式存储
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好,转载 2015-10-27 19:40:39 · 823 阅读 · 0 评论 -
MongoDB GridFS存储文件
GridFS 用于存储和恢复那些超过16M(BSON文件限制)的文件(如:图片、音频、视频等)。GridFS 也是文件存储的一种方式,但是它是存储在MonoDB的集合中。GridFS 可以更好的存储大于16M的文件。GridFS 会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文档(document)被存储在c转载 2015-09-24 00:20:07 · 2373 阅读 · 0 评论 -
MongoDB基于GridFS实现文件的分布式存储
GridFS是一种在MongoDB中存储大二进制文件的机制。使用GridFS存文件有如下几个原因:利用Grid可以简化需求。要是已经用了MongoDB,GridFS就可以不需要使用独立文件存储架构。GridFS会直接利用业已建立的复制或分片机制,所以对于文件存储来说故障恢复和扩展都很容易。GridFS可以避免用于存储用户上传内容的文件系统出现的某些问题。例如,GridFS在转载 2015-09-24 00:22:44 · 986 阅读 · 0 评论 -
HBase初体验
尝试了下HBase,对Hadoop这一整套的工具也算是都有了个感性的认识。我对Bigtable的描述感到很迷茫和无助,看了半天也不知道这个 东西到底是个什么东西,又应该如何使用这个东西。百闻不如一试,于是便配置了下HBase,HBase的配置和Hive一样,都非常简单,当然我指的是在伪分布式集群上,在真实的多节点集群上运行应该比较复杂,涉及到ZooKeepper的配置。我在试验机上以伪分布式的方式转载 2015-10-27 19:58:21 · 832 阅读 · 0 评论 -
stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory
1 pid不存在的问题hadoop停止集群时,报错如下所示: no namenode to stop no datanode to stop no secondery namenode to stop no resourcemanager to stop no nodemanager to stop造成hadoop出现上述这个错误的原因很多转载 2015-10-27 21:27:54 · 20174 阅读 · 0 评论 -
Hadoop与Hbase基本配置
在经历了几周的努力之后,终于选择放弃现在安装的稳定版本,转而安装旧版本来部署Hadoop系统。直到昨天,自己还一直为Inconsistent configuration的错误头疼不已。既然同事的版本已经装成功了,那自己也就先用跑通的系统试一下吧,毕竟先放下再回来看现在的问题可能有更好的解决思路吧。今天开始正式重新安装Hadoop与Hbase。之前的安装笔记比较凌乱,今天借着这样的机会把整个步骤重新转载 2015-10-29 09:21:45 · 654 阅读 · 0 评论 -
MapReduce统计
在 MongoDB 上使用 Map/Reduce进行并行"统计"很容易。使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value),遍历 collection 中所有的记录, 将key 与 value 传递给 Reduce 函数进行处理。Map函数和Reduce函数可以使用 JavaScript 来实现,可以通过 d转载 2015-09-24 19:16:25 · 1325 阅读 · 0 评论 -
Windows不能在本地计算机启动MongoDB,错误代码 100
启动MongoBD时报错:window不能再本地计算机启动MongoDB,如下: 解决办法:1. MongoDB安装目录\data\将此文件夹下的mongod.lock删除2. 查看官方文档或按照上一篇安装文章检查是否设置dbpath或logpath等,如果没有设置,默认是安装在C盘.原创 2015-09-22 14:16:11 · 12642 阅读 · 8 评论 -
MongoDB MapReduce 使用
一 Map/Reduce简介 MapReduce 是目前最流行和被普遍研究的海量数据处理方法。它是Google公司的核心模型,用于大规模数据集(大于1TB)的并行计算。“映射(Map)”与“化简(Reduce)”的概念是它们的主要思想,都是从函数式编程语言借来的。MapReduce将负责的运行于大规模集群上的并行计算过程高度地抽象为两个函数(Map和Reduce转载 2015-09-26 09:40:11 · 535 阅读 · 0 评论 -
MongoDB配置文件说明
启动MongoDB有2种方式,一是直接指定配置参数,二是指定配置文件。这里先介绍配置文件,启动方式如下:mongod --config /etc/mongodb.conf配置如下:verbose:日志信息冗余。默认false。提高内部报告标准输出或记录到logpath配置的日志文件中。要启用verbose或启用verbosity 用vvvv参数,如:verbos转载 2015-09-26 09:47:26 · 810 阅读 · 0 评论 -
mongoDB启动报错 ERROR: child process failed, exited with error number
mongoDB启动报错 ERROR: child process failed, exited with error number上面这个错误是今天下午发现,从github down下一个应用,在应用启动前需要redis 启动服务,mongodb启动服务,所以当启动mongodb的时候悲剧出现了:zhangzhi@moke:~$ mongod --dbpath=/data/cl转载 2015-09-24 22:43:20 · 6972 阅读 · 0 评论 -
NoSQL崛起的六大原因
NoSQL产品越来越火,NoSQL产品通常以其高性能,强扩展性和高容错性为大家所称道,我们在问为什么NoSQL会流行起来的时候,或许应该问一下为什么这些功能会变得这么重要。We’re dealing with much more data. Although advances in storage capacity and CPU speed have allowed the databa转载 2015-09-22 10:40:27 · 1435 阅读 · 0 评论 -
MongoDB安装成为Windows服务及日常使用遇到问题总结
安装MongoDB:http://blog.csdn.net/liuzhoulong/article/details/6124566严格按照上面的步骤,设置数据库目录,设置日志目录,安装服务。可是在安装服务时,遇到安装不上服务问题。后来参考了下面这篇文章【MongoDB安装为Windows服务方法与注意事项 】:http://blog.csdn.net/chaijunkun/art转载 2015-09-22 14:24:03 · 2033 阅读 · 1 评论