分布式相关
文章平均质量分 81
vhomes
现在主要工作还是java后台服务端相关开发,熟悉的方向:多线程,分布式缓存,redis,数据库等相关领域,微博:http://weibo.com/vhomes
展开
-
Hadoop简介
以下Hadoop的简介是从百度百科上搜索到的,完全是为了普及下概念知识,记录下!公司有DFS,看简介跟HDFS很项,呵,想了解下另外HBase,在09年第一个项目的数据库设计时当时老大建议我把表设成按属性例来存储,但是终究还是存储在数据库,当时我没有赞同! Hba原创 2011-07-30 22:23:54 · 1081 阅读 · 0 评论 -
RethinkDB介绍
无意中看到redis作者在博客中推荐了RethinkDB,早上来简单了解了下,记录下:RethinkDB是一个完全支持Memcached协议、数据可持久化的工业级key-value存储系统。RethinkDB官网介绍如下:RethinkDB is built to store JSON documents, and scale to multiple machines with v原创 2012-11-15 10:23:59 · 7907 阅读 · 1 评论 -
基于redis分布式缓存实现
简单说明下,写此文章算是对自己近一段工作的总结,希望能对你有点帮助,同时也是自己的一点小积累。一.为什么选择redis在项目中使用redis做为缓存,还没有使用memcache,考虑因素主要有两点:1.redis丰富的数据结构,其hash,list,set以及功能丰富的String的支持,对于实际项目中的使用有很大的帮忙。(可参考官网redis.io)2.redis单点原创 2012-11-17 20:59:36 · 39837 阅读 · 26 评论 -
BloomFilter应用与D-Lelft BloomFilter实现
此篇文章是开发过程中对BloomFilter应用场景的一些介绍,另外项目中实现了D-Left BloomFilter,相关实现时一些注意的地方,简单介绍下!首先看一些应用场景:1.海量的黑白名单。2.爬虫抓取时重复的URL处理。3.数据key是否存在检测4.(一些面试题几十亿不重复整数中判断其中一个整数是否存在的问题,BitMap/BloomFilter能很好的解决)。。。原创 2012-11-25 19:52:24 · 2490 阅读 · 6 评论 -
HornetQ异步消息系统介绍
一.介绍HornetQ(官网:http://www.jboss.org/hornetq)是一个支持集群和多种协议,可嵌入、高性能的异步消息系统。HornetQ完全支持JMS,HornetQ不但支持JMS1.1 API同时也定义属于自己的消息API,这可以最大限度的提升HornetQ的性能和灵活性。hornetq一直在更新,将会支持更多的协议。现在2.2.14为最新的稳定版本。项目中原创 2012-11-05 20:04:48 · 2842 阅读 · 0 评论 -
redis2.4与2.6 性能比较
今天在写基于Mysql Binlog刷新redis缓存的项目时,刚完成部分功能开发,整个流程走通了。突然发现测试机自己安装了redis2.4.2与redis2.6.2两个版本,因此顺手想在测试机上跑下redis相关性能,看有多大的提高:测试程序是redis自已的redis-benchmark, 参数为:src/redis-benchmark -h host -p port -c 10 -n原创 2012-10-31 19:33:01 · 1843 阅读 · 0 评论 -
淘宝tair的学习心得相关记录
晚上回家,想起前一阵子看淘宝Tair相关资料,其实去年tair开源时就有相关关注,但是印象不多,最近重新翻阅了相关资料,感觉很详细,受益非浅,表示感谢,小记了一下,供学习与参考:(http://www.oschina.net/p/tair)一.Tair的介绍Tair是由淘宝网自主开发的Key/Value结构数据存储系统.它默认支持基于内存和文件的两种存储方式,分别和我们通常所说的缓存和持久原创 2012-10-30 23:00:24 · 7086 阅读 · 2 评论 -
LevelDB 介绍
早上过来,微博上无意中看到有人转LevelDB相关实现的文章,突然脑海里对这个k/v数据库记得曾经有个印象,因为记得淘宝tair是基于此实现的,(有时间记录下阅读tair对其架构的简单记录笔记),为此上网查了相关资料,简单记录下,以备以后有需要可以快速的查看。以下为官网上介绍的简单翻译:一.LevelDB是一个高效的key/value存储库,由google开源,提供了基本的Sring类型的原创 2012-10-30 10:38:31 · 2653 阅读 · 0 评论 -
redis 2.6 新功能介绍及安装相关问题
redis2.6在前两天发布了(http://redis.io/download),当天下载的时候,在make时一堆编译错误,后来看issue,跟linux系统版本及位数有关。 昨天作者 antirez发布了2.6.2,此版本修复了一些linux版本不兼容导致make不通过的问题,可是下下来以后,发现在测试机编译还是有些问题,与是在issue上提出一个问题:(https://github原创 2012-10-29 13:09:56 · 4691 阅读 · 0 评论 -
Mysql Binlog三种格式介绍及分析
一.Mysql Binlog格式介绍 Mysql binlog日志有三种格式,分别为Statement,MiXED,以及ROW!1.Statement:每一条会修改数据的sql都会记录在binlog中。优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。(相比row能节约多少性能与日志量,这个取决于应用的SQL情况,正常同一条记录修改或者插入row原创 2012-10-17 19:24:07 · 51020 阅读 · 5 评论 -
thrift,Protocol Buffer,avro基本介绍
接下来项目中会用到thrift:一个跨平台,支持多语言的,通过定义IDL文件,自动生成RPC客户端与服务端通信代码的工具(谈不上框架,后面学习中会记录下thrift学习相关的东西) 在查找thrift学习资料中,了解到与之类似的有google的protocol buff原创 2011-07-31 12:12:35 · 4613 阅读 · 0 评论 -
基于tungsten监测mysql数据修改系统介绍
一.项目背景项目中有个全文检索系统,此系统中需要知道应用中数据的实时更新情况,如增加,删除,这些对于索引与数据库数据的同步都很重要。针对于此处理的方式一般有两种,一种是应用层修改,直接发送消息给检索系统,此对系统的消耗是比较大的,一般不可取;另一种是应用系统跟检索系统之间有一种同步机制,可以通过计算ID checksum值的方式来保证数据的同步,此方式在公司相关的系统中都有应用,也是一种可行的原创 2012-10-23 10:30:19 · 3728 阅读 · 3 评论