chenyun1的专栏

简介众所周知，对于海量数据的schema修改是一个极其昂贵的代价，MySQL分表的很大原因其实就有500w数据一个表，DDL会比较快。一般来说，动态schema是指的非固定表结构，schema字段（有时也指索引）的增删对于正常的读写没有任何影响。一般有两个方向的表现形式： Online Schema ChangeSchema-Free NoSQL中一般采用后者，而关...

本节重点讲述数据的Durability(可靠性)，纵然CAP理论中的三个关键点(Consistent, Available, Partition-Tolerant )无法达成一致，A和P目前来看变化不太多，可能变化比较多的是在C上，将一致性模型的文章毫无疑问首推Amazon CTO：Werner Vogels的两篇文章：Eventually ConsistentEventually Co...

 相关文章推荐：海量数据存储之Key-Value存储简介海里数据存储之存储设计(二)Je的排版真的让人难过......从本文开始着重讲解存储细节，思路比较飘逸，观者多包涵。翻译了一篇Redis作者antirez的文章做为本文的切入点，翻译得不好，这部分可以大致一览，后面会有分析。Append Only和Reuse Blocks的一些区别对于一颗app...

本文主要讲述NoSQL在Flash设备上的可以选择的其中一种优化策略，并粗略提了一下SSD设备的特性。对Flash设备的性能优化，微软曾经做过一份paper，但是里面很多东西比较局限：比如paper中将SSD作为了写入的buffer，而众所周知，写性能不会是任何一款NoSQL的瓶颈；比如SSD的索引采用了Hash的数据结构，这样在进行cache evict的时候，粒度的控制也很有问题。本文对其...

 Bdb je的底层存储格式是Log-Structured File System，即就像写日志那样append only，并且其日志和数据是存在一起不分开的。因此bdb的存储格式是面向entry的，一个entry或代表一个record，或代表一条日志等等。从源码分析，bdb的entry总共有几十种之多，根据不同的配置使用不同的entry。代码结构是这样的：          ...

概述HBase是基于Bigtable论文的面向列的分布式存储系统，其存储设计是基于Memtable/SSTable的。其它如Cassandra都是采用的该设计。整个存储分为两部分，一部分为内存中的MemStore(Memtable)，另外一部分为磁盘(这里是HDFS)上的HFile(SSTable)。下面分别讲述两种类型的存储分别的实现：MemStore中最重要的变量是：volat...

Key-value存储简介具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战，传统的数据库往往很难满足该需求，并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询，在这种情况下使用关系型数据库将使得效率低下，并且扩展也将成为未来很大的难题。在这样的情况下，使用Key-value存储将会是一个很好的选择。它被广泛应用于缓存，搜索引擎等等领域。     ...

关于Solr可以参考之前的博客或者百度一下。这里主要讲Solr的扩展，包括横向，纵向，以及深度扩展。 Javaeye的排版有问题，将就看吧Solr的扩展(Scaling) 当你的索引数量越来越大，你会发现你的搜索响应时间变得更慢，索引新内容的时间也会越来越长，那么，到了做出一些改变的时候了，幸运的是，solr很好的考虑到了这些情况，你只需要改变你的配置...

技术选型2.1. 基础架构IOC Container: Spring, Guice我们需要IOC Container的依赖注入作为胶水，把其他工具包粘在一起。还需要它的AOP，进行事务配置，权限管理。这么多人都在使用Spring，实际使用中可以获得巨大的便利，如果选择了其他平台就要面临在关键时刻自己造轮子的窘境。使用...

Big Data in Real-Time at Twitter：http://www.slideshare.net/nkallen/q-con-3770885Build scalable microblog qcon beijing 2010：http://www.slideshare.net/iso1600/build-scalable-microblog-qcon-beijing-201...

翻译了几年前的一篇文章，思想很不错。http://www.jroller.com/kenwdelong/entry/horizontal_database_partitioning_with_spring简介       大约在一年以前，我决定水平扩展我们的数据库。在我们的数据库中我们拥有数百万的用户，我们期望我们的用户为我们的网站生成更多的内容，同时我们将收集更多的用户行为。我们已经...

转载自：http://www.cnblogs.com/spork/archive/2009/12/29/1634766.html来自原小站，曾经迷糊过的东西，表上来，希望对正在迷糊或即将迷糊的人有帮助。　　谈到系统的可伸缩性，Scale-up（纵向扩展）和Scale-out（横向扩展）是两个常见的术语，对于初学者来说，很容易搞迷糊这两个概念，这里总结了一些把概念解释的比较清楚的内容。　...

转载自：http://hi.baidu.com/fdwm_lx/blog/item/fe46344e11517705b3de054c.html在大型web应用中，缓存可算是当今的一个标准开发配置了。在大 规模的缓存应用中，应运而生了分布式缓存系统。分布式缓存系统的基本原理，大家也有所耳闻。key-value如何均匀的分散到集群中？说到此，最常规的 方式莫过于hash取模的方式。比如集群中可用机...

 Zookeeper API中包如下：org.apache.zookeeper org.apache.zookeeper.data org.apache.zookeeper.server org.apache.zookeeper.server.quorum org.apache.zookeeper.server.upgrade其中开发者比较常用的包都集中在前两个包中关于ZooKee...

java里的clone分为： A:浅复制（浅克隆）: 浅复制仅仅复制所考虑的对象，而不复制它所引用的对象。 b:深复制（深克隆）：深复制把要复制的对象所引用的对象都复制了一遍。 Java中对象的克隆,为了获取对象的一份拷贝，我们可以利用Object类的clone()方法。必须要遵循下面三点 1.在派生类中覆盖基类的clone()方法，并声明为public【Object类中的clone()方法为...

  Eclipse插件开发打包为Update Site1.         假设你的插件已经开发完毕，剩下打包了，请在此之前确认以下事项;程序中需要加入的第三方Jar包，不能自己在 Build Path 中手动加入， 必须使用下面的方法.       其他的第三方 Jar 包 （包括 Classpath） Runtime -> Classpath -> Add(New)  ...

转载自：http://blog.sina.com.cn/s/blog_3ee5fa930100091m.html[plug-in 的基本结构]每一个plug-in都用一个目录包起来, 而且起目录名也是有讲究的,比如plug-in的名字叫edu.sjtu.bbs.eclipse,版本是1.0.0, 那这个目录名就是edu.sjtu.bbs.eclipse_1.0.0.而且随便打开...

转载自：http://blog.csdn.net/cb_121/archive/2008/06/13/2543657.aspx概述XFire是与Axis 2并列的新一代Web Service框架，通过提供简单的API支持Web Service各项标准协议，帮助你方便快速地开发Web Service应用。XFixe内建在STAX的基础上之上，STAX是基于流的XML解析引擎，这使得XFi...

 转载自：http://www.pin5i.com/showtopic-19933.html每次提到有关Eclipse插件启动的问题的时候，脑子中自然的反应就是：可以设定为预先启动（org.eclipse.ui.startup），否则默认的情况下是懒启动（Lazy Start），只有当插件中的功能被真正调用的时候，插件才会被启动。可能是人也跟着变懒了，也一直没有去留心Eclipse底层是怎...

转自：http://blog.sina.com.cn/s/blog_62a9902f0100gozu.html下面我以ubuntu 9.10环境为例进行部署Zookeeper1.1安装前准备1.Java6 环境要求安装如果用Zookeeper在windows条件下运行，应该安装Cygwin.2.在hhtp://hadoop.apache.org/zookeeper/r...