chenyun1的专栏

forchenyun的专栏

海量数据存储之动态Schema的传说

简介 众所周知,对于海量数据的schema修改是一个极其昂贵的代价,MySQL分表的很大原因其实就有500w数据一个表,DDL会比较快。 一般来说,动态schema是指的非固定表结构,schema字段(有时也指索引)的增删对于正常的读写没有任何影响。一般有两个方向的表现形式:   Onl...

2011-04-26 13:06:14

阅读数 62

评论数 0

海量数据存储之存储设计(二)

本节重点讲述数据的Durability(可靠性),纵然CAP理论中的三个关键点(Consistent, Available, Partition-Tolerant )无法达成一致,A和P目前来看变化不太多,可能变化比较多的是在C上,将一致性模型的文章毫无疑问首推Amazon CTO:Werner ...

2011-03-13 17:58:21

阅读数 342

评论数 0

海量数据存储之存储设计(一)

  相关文章推荐: 海量数据存储之Key-Value存储简介 海里数据存储之存储设计(二) Je的排版真的让人难过...... 从本文开始着重讲解存储细节,思路比较飘逸,观者多包涵。 翻译了一篇Redis作者antirez的文章做为本文的切入点,翻译得不好,这部分可以大致一览,...

2011-03-06 13:51:17

阅读数 361

评论数 0

海量数据存储之新存储设备性能优化

本文主要讲述NoSQL在Flash设备上的可以选择的其中一种优化策略,并粗略提了一下SSD设备的特性。 对Flash设备的性能优化,微软曾经做过一份paper,但是里面很多东西比较局限:比如paper中将SSD作为了写入的buffer,而众所周知,写性能不会是任何一款NoSQL的瓶颈;比如SSD...

2011-01-04 19:50:47

阅读数 46

评论数 0

Berkeley DB Java Edition存储文件格式概述

  Bdb je的底层存储格式是Log-Structured File System,即就像写日志那样append only,并且其日志和数据是存在一起不分开的。 因此bdb的存储格式是面向entry的,一个entry或代表一个record,或代表一条日志等等。 从源码分析,bdb的entr...

2010-12-13 17:21:00

阅读数 57

评论数 0

HBase存储文件格式概述

概述 HBase是基于Bigtable论文的面向列的分布式存储系统,其存储设计是基于Memtable/SSTable的。其它如Cassandra都是采用的该设计。 整个存储分为两部分,一部分为内存中的MemStore(Memtable),另外一部分为磁盘(这里是HDFS)上的HFile(SST...

2010-11-29 19:36:02

阅读数 106

评论数 0

海量数据存储之Key-Value存储简介

Key-value存储简介 具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战,传统的数据库往往很难满足该需求,并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询,在这种情况下使用关系型数据库将使得效率低下,并且扩展也将成为未来很大的难题。在这样的情况下,使...

2010-08-23 12:48:14

阅读数 137

评论数 0

Scaling Solr(Solr的扩展)

关于Solr可以参考之前的博客或者百度一下。这里主要讲Solr的扩展,包括横向,纵向,以及深度扩展。   Javaeye的排版有问题,将就看吧 Solr的扩展(Scaling)   当你的索引数量越来越大,你会发现你的搜索响应时间变得更慢,索引新内容的时间也会越...

2010-07-12 19:47:22

阅读数 33

评论数 0

技术选型

技术选型 2.1. 基础架构 IOC Container: Spring, Guice 我们需要IOC Container的依赖注入作为胶水,把其他工具包粘在一起。还需要它的AOP,进行事务配置,权限管理。 这么多人都在使用...

2010-06-30 15:33:29

阅读数 24

评论数 0

分享两个cqon beijing 2010的slide

Big Data in Real-Time at Twitter:http://www.slideshare.net/nkallen/q-con-3770885 Build scalable microblog qcon beijing 2010:http://www.slideshare.ne...

2010-06-10 10:10:22

阅读数 29

评论数 0

使用Spring和Hibernate框架操作数据库水平分区

翻译了几年前的一篇文章,思想很不错。 http://www.jroller.com/kenwdelong/entry/horizontal_database_partitioning_with_spring 简介        大约在一年以前,我决定水平扩展我们的数据库。在我们的数据库中我们...

2010-06-08 22:41:08

阅读数 30

评论数 0

Scale-up and Scale-out

转载自:http://www.cnblogs.com/spork/archive/2009/12/29/1634766.html 来自原小站,曾经迷糊过的东西,表上来,希望对正在迷糊或即将迷糊的人有帮助。   谈到系统的可伸缩性,Scale-up(纵向扩展)和Scale-out(横向扩展)是两...

2010-06-03 16:25:04

阅读数 25

评论数 0

一致性哈希(Consistent Hashing)

转载自:http://hi.baidu.com/fdwm_lx/blog/item/fe46344e11517705b3de054c.html 在大型web应用中,缓存可算是当今的一个标准开发配置了。在大 规模的缓存应用中,应运而生了分布式缓存系统。分布式缓存系统的基本原理,大家也有所耳闻。ke...

2010-05-25 21:30:09

阅读数 34

评论数 0

Zookeeper ZNode操作

  Zookeeper API中包如下: org.apache.zookeeper org.apache.zookeeper.data org.apache.zookeeper.server org.apache.zookeeper.server.quorum org.apache.zooke...

2010-05-13 16:51:40

阅读数 34

评论数 0

Java 深拷贝

java里的clone分为: A:浅复制(浅克隆): 浅复制仅仅复制所考虑的对象,而不复制它所引用的对象。 b:深复制(深克隆):深复制把要复制的对象所引用的对象都复制了一遍。 Java中对象的克隆,为了获取对象的一份拷贝,我们可以利用Object类的clone()方法。必须要遵循下面三点 1...

2010-05-12 19:29:32

阅读数 19

评论数 0

Eclipse插件开发打包为Update Site

  Eclipse插件开发打包为Update Site 1.         假设你的插件已经开发完毕,剩下打包了,请在此之前确认以下事项; 程序中需要加入的第三方Jar包,不能自己在 Build Path 中手动加入, 必须使用下面的方法.       其他的第三方 Jar 包 (包括 Cl...

2010-05-11 20:56:49

阅读数 26

评论数 0

eclipse中plugin与feature的区别

转载自:http://blog.sina.com.cn/s/blog_3ee5fa930100091m.html [plug-in 的基本结构] 每一个plug-in都用一个目录包起来, 而且起目录名也是有讲究的,比如plug-in的名字叫edu.sjtu.bbs.eclipse,版本...

2010-05-11 19:13:58

阅读数 38

评论数 0

Spring集成Xfire

转载自:http://blog.csdn.net/cb_121/archive/2008/06/13/2543657.aspx 概述 XFire是与Axis 2并列的新一代Web Service框架,通过提供简单的API支持Web Service各项标准协议,帮助你方便快速地开发Web S...

2010-05-04 19:40:47

阅读数 19

评论数 0

Eclipse插件Lazy Start实现原理分析

  转载自:http://www.pin5i.com/showtopic-19933.html 每次提到有关Eclipse插件启动的问题的时候,脑子中自然的反应就是:可以设定为预先启动(org.eclipse.ui.startup),否则默认的情况下是懒启动(Lazy Start),只有当插件...

2010-04-30 16:24:49

阅读数 30

评论数 0

Zookeeper入门(一)

转自:http://blog.sina.com.cn/s/blog_62a9902f0100gozu.html 下面我以ubuntu 9.10环境为例进行部署Zookeeper 1.1安装前准备 1.Java6 环境要求安装 如果用Zookeeper在windows条件下运行,应...

2010-04-28 09:58:51

阅读数 23

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭