2016年10月_帅性而为1号

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

转载基于Dedup的数据打包技术

基于Dedup的数据打包技术作者简介：刘爱贵，研究方向为网络存储、数据挖掘和分布式计算；毕业于中科院，目前从事存储软件研发工作。 Email: [email protected]注：作者学识和经验水平有限，如有错误或不当之处，敬请批评指正。原文链接：http://blog.csdn.net/liuaigui/article/details/5166538

2016-10-30 17:13:16 1120

转载重复数据删除(De-duplication)技术研究

原文链接：http://blog.csdn.net/liuaigui/article/details/5829083作者：刘爱贵，中科院博士，长期从事存储领域研发工作，分式存储资深理论研究与实践者，GlusterFS 技术专家，当前专注于Server SAN。1、Dedupe概述　De-duplication，即重复数据删除，它是一种目前主流且非常热门的存

2016-10-29 11:37:00 3393

转载 SourceForge上发布dedup util

原文链接：http://blog.csdn.net/liuaigui/article/details/5641891作者：刘爱贵，中科院博士，长期从事存储领域研发工作，分式存储资深理论研究与实践者，GlusterFS 技术专家，当前专注于Server SAN。[dedup util]dedup util是一款开源的轻量级文件打包工具，它基于块级的重复数据删

2016-10-28 17:36:05 386

转载深入理解Bloom Filter

原文链接：http://blog.csdn.net/liuaigui/article/details/6602683作者：刘爱贵，中科院博士，长期从事存储领域研发工作，分式存储资深理论研究与实践者，GlusterFS 技术专家，当前专注于Server SAN。Bloom Filter是1970年由Bloom提出的，最初广泛用于拼写检查和数据库系统中。近年来

2016-10-28 17:28:36 2874

转载深入理解数据压缩与重复数据删除

原文链接：http://blog.csdn.net/liuaigui/article/details/6324133 作者：中科院博士，长期从事存储领域研发工作，分式存储资深理论研究与实践者，GlusterFS 技术专家，当前专注于Server SAN。[导读] 数据压缩与重复数据删除两种技术有何区别与联系呢？实际中又该如何正确应用呢？笔者之前对数据压缩原

2016-10-28 17:23:48 4508 1

原创 JAVA反射使用手记

Java语言中的反射机制：在Java 运行时环境中，对于任意一个类，能否知道这个类有哪些属性和方法？对于任意一个对象，能否调用他的方法？这些答案是肯定的，这种动态获取类的信息，以及动态调用类的方法的功能来源于JAVA的反射。从而使java具有动态语言的特性。 JAVA反射机制主要提供了以下功能：

2016-10-20 21:22:14 274

转载 linux系统缓存机制

1、缓存机制为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。 CPU上下文切换：CPU给每个进程一定的服务时间，当时间片用完后，内核从正

2016-10-17 15:35:57 350

转载分库分表的几种常见形式以及可能遇到的难题

““分库分表”是谈论数据库架构和优化时经常听到的关键词。那么对于这些业务量正在高速增长的公司，它有那么容易实践吗？前言在谈论数据库架构和数据库优化的时候，我们经常会听到“分库分表”、“分片”、“Sharding”…这样的关键词。让人感到高兴的是，这些朋友所服务的公司业务量正在（或者即将面临）高速增长，技术方面也面临着一些挑战。让人感到担忧的是，他们系统真的就需要“分库分表”

2016-10-14 10:40:51 5376

转载 metaq架构原理

1、metaQ架构原理2、Metaq原理与应用3、消息中间件Notify和MetaQ-阿里中间件4、中间件学习——metaq5、中间件、MetaQ入门学习6、分布式消息中间件 MetaQ 作者庄晓丹专访7、MetaQ技术内幕——源码分析系列

2016-10-14 10:34:32 1841

转载 Tair简介

简介tair 是淘宝自己开发的一个分布式 key/value 存储引擎. tair 分为持久化和非持久化两种使用方式. 非持久化的 tair 可以看成是一个分布式缓存. 持久化的 tair 将数据存放于磁盘中. 为了解决磁盘损坏导致数据丢失, tair 可以配置数据的备份数目, tair 自动将一份数据的不同备份放到不同的主机上, 当有主机发生异常, 无法正常提供服务的时候, 其于的备份会

2016-10-14 08:55:57 8508

原创 WebX框架解析及使用教程

1、【重要】WebX框架解析及使用教程之一2、webx3的总体架构以及特性、快速入门配置3、WEBX框架学习总结4、Webx 核心机制5、Webx 浅析6、Webx初接触7、学习开源框架WebX的总结8、【最重要】Webx框架指南

2016-10-13 23:15:17 1791

转载淘宝(taobao)HSF框架

一、背景随着网站访问量增加，仅仅靠增加机器已不能满足系统的要求，于是需要对应用系统进行垂直拆分和水平拆分。在拆分之后，各个被拆分的模块如何通信？如何保证性能？如何保证各个应用都以同样的方式交互？这就需要一种负责各个拆分的模块间通信的高性能服务框架(HSF)。二、HSF做的事情 1. 标准Service方式的RPC 1）. service

2016-10-13 21:17:22 7939

转载淘宝可伸缩高性能互联网架构

时间过得很快，来淘宝已经两个月了，在这两个月的时间里，自己也感受颇深。下面就结合淘宝目前的一些底层技术框架以及自己的一些感触来说说如何构建一个可伸缩，高性能，高可用性的分布式互联网应用。一应用无状态（淘宝session框架）俗话说，一个系统的伸缩性的好坏取决于应用的状态如何管理。为什么这么说呢？咱们试想一下，假如我们在session中保存了大量与客户端的状态

2016-10-13 11:37:16 372

转载 Mybatis学习总结

1、MyBatis学习总结(一)——MyBatis快速入门2、MyBatis学习总结(二)——使用MyBatis对表执行CRUD操作3、MyBatis学习总结(三)——优化MyBatis配置文件中的配置4、MyBatis学习总结(四)——解决字段名与实体类属性名不相同的冲突5、MyBatis学习总结(五)——实现关联表查询6、MyBa

2016-10-12 14:46:14 328

原创 Hibernate与 MyBatis的比较

最近做了一个hibernate与MyBatis的对比总结，希望大家指出不对之处。第一章 Hibernate与MyBatisHibernate 是当前最流行的O/R mapping框架，它出身于sf.NET，现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/R mapping框架。目前属于apache的一个子项目。MyBatis 参考资料官

2016-10-12 11:41:45 2230