![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Nosql
文章平均质量分 68
iteye_3697
这个作者很懒,什么都没留下…
展开
-
TokyoTyrant的管理工具tcrmgr使用小记
申明:本文转自 liunx.cnblogs.com, 感谢原作者 1.先启动一个测试用的ttserver 注意使用的所有路径都是绝对路径 ttserver -host 192.168.0.100 -port 20000 -thnum 4 -dmn -ulim 1024m -ulog $(pwd)/ulog/ -log $(pwd)/temp/test.log -pid $(pwd)/temp/te...原创 2010-11-10 16:02:34 · 153 阅读 · 0 评论 -
【备份】redis源码分析-如何rehash
原文地址:redis源码分析-如何rehash dict实现中主要用到如下结构体,其实就是个典型的链式hash。 一个dict会有2个hash table,由dictht结构管理,编号为0和1. 使用是优先使用0号hash table,当空间不足时会调用dictExpand来扩展hash table,此时准备1号hash table用于增量的rehash使用。rehash完成后把0号...2011-04-20 12:30:07 · 147 阅读 · 0 评论 -
【备份】对redis数据持久化的一些想法
原文地址:对redis数据持久化的一些想法 数据持久化通俗讲就是把数据保存到磁盘上,保证不会因为断电等因素丢失数据。 redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持两种持久化方式,一种是 Snapshotting(快照)也是默认方式,另一种是Append-only file(缩写aof)的方式。先介绍下这两种dump方式再讲讲自己遇到的一些现象和想法,前面的内容是从...2011-04-20 12:28:51 · 289 阅读 · 0 评论 -
关系型数据库到HBase的数据储存方式变迁
我是标题党,其实本文与hbase关系不大,只是把它作为列族数据库的代表来讲。从目前字眼上看,HBase比Bigtable无疑更具吸引力。题目改成:RDBMS到列族的数据储存方式变迁 更恰当。 如今Bigtable型(列族)数据库应用越来越广,功能也很强大。但是很多人还是把它当做关系型数据库在使用,用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。 传...2011-08-26 11:35:40 · 255 阅读 · 0 评论 -
实时计算应用场景
个人博客总是访问不了,原文:实时计算应用场景 实时计算的概念很难定义,每个人对这四个字的理解可能都不同。个人观点主要分为两块:数据的实时入库和数据的实时计算。 数据实时入库的时候,一般都需要对原始数据做一定的处理再入库。能在这个步骤计算尽量在这里完成。 这个类似数据的预算后入库,然后提供直接读取服务。对用户的延时性上最好。 然而有一些对数据的计算并不能通过预算解决全部问题,比如搜索。...2011-08-26 11:31:56 · 898 阅读 · 0 评论 -
tokyotyrant的内部实现特征
修改一个value值的时候,当新数据大于老数据,如果后面有空间,就增大,没有就移动。 有两种收拾碎片的方法,一是把数据重新导一份,名曰静态碎片整理,这个是手动调接口执行的。二是动态收集碎片,再重新整合,这个过程是在一些常规操作中被触发进行的。 B+树存储的父子结点间是双链。 B+树存储的每一个叶结点是一个hash表,每一个叶结点叫一个page。 B+树的索引是存在内存中的,每次inse...原创 2010-11-14 21:29:36 · 157 阅读 · 0 评论 -
Tokyo Cabinet 的四种数据结构
Tokyo Cabinet提供了Hash、Fixed-length、Table和B+ Tree四种数据结构,不同的结构特性和应用场景都不一样。TC本身提供了专门测试和调试工具tc (h/f/t/b) mgr。 Tokyo Tyrant在启动的时候,通过数据库文件名后缀来表示使用哪种数据结构。 以下是结构和后缀对应表: Hash Database :.tch B+ tree database...原创 2010-11-11 21:11:16 · 196 阅读 · 0 评论 -
redis的内存陷阱
redis是个对内存依赖性很强的NoSql数据库,在内存足够的情况下性能出色 如果只有一台机子去部署redis,一定要特别小心。 比如我有台24G的服务器,理所当然我会将大量内存分配给redis。 比如20G的内存, 问题来了, 当你对redis插入数据后,redis会异步将数据dump到硬盘中 想起来很完美,问题是它会fork一个进程,并占去同样大小的内存,你需要的内存瞬间便为 ...2010-11-11 09:44:01 · 115 阅读 · 0 评论 -
CAP理论及系统一致性
印象中CAP理论开始流行是从Amazon Dynamo的论文开始的,Amazon的CTO还在他的博客中介绍了最终一致性的概念,从此以后,各种会议和交流中都少不了CAP的影子。然而,对于分布式系统工程设计和开发来说,CAP意味着什么呢? CAP 理论由 Berkerly 的 Brewer 教授提出,三者的含义如下: 一致性 ( Consistency) :任何一个读操作总是能读取到之前完...原创 2010-11-11 09:41:49 · 125 阅读 · 0 评论 -
linux中hadoop+zookeeper+hbase配置
环境准备 1.在windows下安装VMware 2.创建了3个fedora14 linux。地址分别为: m201 192.168.0.201 (Namenode) s202 192.168.0.202 (Datanode) s203 192.168.0.203 (Datanode) 3.在linux系统中下载所需要的软件。分别为: jdk-6u23-linux-i586...原创 2011-05-10 21:34:48 · 180 阅读 · 0 评论