追求卓越

转载 RPM常用命令及RPM中文手册

rpm 常用命令1.安装一个包 # rpm -ivh 2.升级一个包 # rpm -Uvh 3.移走一个包 # rpm -e 4.安装参数 --force 即使覆盖属于其它包的文件也强迫安装 --nodeps 如果该RPM包的安装依赖其它包，即使其它包没装，也强迫安装。 5.查询一个包是否被安装 # rpm -q  6.得到被安装

转载 Hadoop压缩算法snappy

http://blog.sina.com.cn/s/blog_48a45b9501015mkb.htmlSnappy的前身是Zippy。虽然只是一个数据压缩库，它却被Google用于许多内部项目程，其中就包括BigTable，MapReduce和RPC。Google宣称它在这个库本身及其算法做了数据处理速度上的优化，作为代价，并没有考虑输出大小以及和其他类似工具的兼容性问题。Snappy已

转载 HBase 线上问题分析小记

在7月初Tcon分布式系统测试实践的分享中，笔者提到了测试人员参与线上问题分析的必要性：1、测试工作中的问题定位提供了大量经验，可以直接应用于线上。2、快速的解决问题可以避免大故障的发生。3、从线上的问题可以帮助我们准确抓住测试的重点和不足。因此在日常的线上维护工作中，积累和很多HBase的问题分析经验，这里于大家分享一下，如有错误和不足请指出。问题分析的主要手段1、监控系统：首先

转载 HBase Bug 知多少

HBase在阿里集团大规模使用已经有一年多时间了，随着online应用越来越多，对HBase的稳定性、实时性、可维护性要求越来越高。在业界HBase的发展也越来越快，每次技术论坛无疑都成为主角，但很多同学都还有疑惑：HBase真的靠谱么？在核心应用能大规模使用么？下面我就从测试的角度，分析下我们发现的bug，通过这些问题来了解HBase的发展现状和淘宝在稳定性上所做的一些工作。HB

转载 mysql 索引

本文参考了文“mysql索引背后的数据结构及算法原理”，之所以还要摘录，主要是为了形成hbase索引研究的开篇，弄明白什么索引的本质，如有版权问题，请及时通知。索引的本质索引是帮助mysql高效获取数据的数据结构。索引属于数据结构的一种。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算

转载 记牢OO概念的图片

转载 HBase二级索引与Join

二级索引与索引Join是Online业务系统要求存储引擎提供的基本特性。RDBMS支持得比较好，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来探讨如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,?ITHbase, Facebook和官方Coprocessor方案的介绍。理论

转载 Cassandra和HBase主要设计思路对比

CassandraHBase 一致性Quorum NRW策略通过Gossip协议同步Merkle Tree，维护集群节点间的数据一致性单节点，无复制，强一致性可用性1，基于Consistent Hash相邻节点复制数据，数据存在于多个节点，无单点故障。2，某节点宕机，hash到该节点的新数据自动路由到下一节点做 h

转载 利用Arena Allocation避免HBase触发Full GC

Arena Allocation，是一种GC优化技术，它可以有效地减少因内存碎片导致的Full GC，从而提高系统的整体性能。本文介绍Arena Allocation的原理及其在Hbase中的应用-MSLAB。背景假设有1G内存，我顺序创建了1百万个对象，每个对象大小1K，Heap会被渐渐充满且每个对象以创建顺序相邻。此时，如果我释放50万个奇数对象，即 1 3 5 7后，剩余空间

原创 Linux 常用命令学习（一）

1. 文件命名规则1） 除了/之外，所有的字符都合法2）有些字符最好不要用，如空格，制表符，退格符@#￥（）-3）避免使用.隐藏4）大小写敏感2、命令格式命令格式：命令 -选项 参数例： ls -la /etc说明 1）当有多个选项时，可一个写一起2）两个特殊目录. 和 ..分别代表当前目录和父目录3、文件处理命令 操作权限root:

转载 树与存储

二叉树：一个根节点，每个节点下挂着最多2个子节点。、概念：度：结点的分支数，二叉树度为2。深度：树的层次。二叉排序树：二叉树的基础上，每个节点上都有一个数字，节点上的数字都比右节点上的大。应用场景：基于内存的排序数据结构，写入时将数据写入到对应的位置。数据可能会出现倾斜，可以想到数字写入顺序如果不是50-20-60-18-55，而是1

转载 H2介绍- Java嵌入式数据库

H2是一个用Java开发的嵌入式数据库，这里指的嵌入式不是手持设备之类的，而是H2数据库作为一个类库，直接嵌入到上层的应用程序中，与应用运行在同一个进程中。最大的优势在于可以同应用程序打包在一起发布，对于客户端应用来说，非常方便。比如说腾讯QQ或者Mozilla Firefox，用户不可能为了用个软件还得在自己机器上装个MySQL？SQL Server？上述软件就使用嵌入式数据库SQLit

转载 jvm垃圾回收

在jvm中堆空间划分为三个代：年轻代（Young Generation）、年老代（Old Generation）和永久代（Permanent Generation）。年轻代和年老代是存储动态产生的对象。永久带主要是存储的是java的类信息，包括解析得到的方法、属性、字段等等。永久带基本不参与垃圾回收。我们这里讨论的垃圾回收主要是针对年轻代和年老代。具体如下图。年轻代又分成3个部分，

转载 hadoop配置文件&&常用的端口配置

配置文件：http://blog.csdn.net/yangjl38/article/details/7583374Hadoop Shell 讲解：http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454680.html端口配置参数描述默认配置文件例子值fs.

转载 Java虚拟机的内存区域划分

Java虚拟机在执行Java程序的过程中会把它所管理的内存划分成很多个不同的数据区域。这些区域都有各自的用途，以及创建和销毁的时间，有的区域随着虚拟机进程的启动而存在，有些区域则是依赖用户线程的启动和结束而建立和销毁。Java虚拟机规范中把Java虚拟机所管理的内存划分为以下几个区域。一、程序计数器（Program Counter Register）程序计数器是一块较小的内存空间，

转载 清除Linux缓存

/proc/sys/vm/drop_caches的值,默认为0简单说，清除系统对内存的cache，使用root做下面几步：sync; echo 3 > /proc/sys/vm/drop_cachessync; echo 0 > /proc/sys/vm/drop_caches1、关于drop_caches的官方说明如下：Writing to this will cau

转载 PHP 5.3 on CentOS/RHEL 5.6 via Yum

PHP通过yum命令升级到5.3的操作步骤http://www.webtatic.com/packages/php53/

转载 crontab与环境变量，以及应该注意的一些问题

转自：http://yunhaozou.org/linux/109.html1.crontab的基本用法Usage: crontab [-u user] [-e|-l|-r]Crontab 的格式说明如下:* 逗号(‘,’) 指定列表值。如: “1,3,4,7,8″* 中横线(‘-’) 指定范围值 如 “1-6″, 代表 “1,2,3,4,5,6″* 星号 (‘*’)

转载 Increment V.S. Read-Modify-Write in HBase

http://blog.zyxar.com/2011/516

转载 用引用操作对对象

当你创建一个数组对象时，实际上就是创建了一个引用数组，并且每个引用都会自动被初始化为一个特定值，该值拥有自己的关键字null 。一旦Java 看到null ，就知道这个引用还没有指向某个对象。在使用任何引用前，必须为其指定一个对象；如果你试图使用一个还是null 的引用，在运行时将会报错。因此，常犯的数组错误在Java 中就可以避免。永远不用销毁对象

转载 Collection List Set Map 区别

这些都代表了Java中的集合，这里主要从其元素是否有序，是否可重复来进行区别记忆，以便恰当地使用，当然还存在同步方面的差异，见上一篇相关文章。 有序否允许元素重复否Collection否是List是是SetAbstractSet否否HashSe

转载 Java将Unix时间戳转换成普通日期型的函数

//Convert Unix timestamp to normal date stylepublic String TimeStamp2Date(String timestampString){ Long timestamp = Long.parseLong(timestampString)*1000; String date = new java.text.SimpleDateFor

转载 java 数据类型转换

public class NumberUtil { private final static char[] HEX = "0123456789abcdef".toCharArray(); /** * 将 int 类型数据转成二进制的字符串，不足 int 类型位数时在前面添“0”以凑足位数 * @param num * @return */

转载 VIM中常用的替换模式总结

1，简单替换表达式替换命令可以在全文中用一个单词替换另一个单词：:%s/four/4/g“%” 范围前缀表示在所有行中执行替换。最后的 “g” 标记表示替换行中的所有匹配点。如果仅仅对当前行进行操作，那么只要去掉%即可如果你有一个象 “thirtyfour” 这样的单词，上面的命令会出错。这种情况下，这个单词会被替换成”thirty4″。要解决这个问题，用 “\:%s/

转载 hbase压缩算法-Snappy算法安装

Compression就是在用CPU换IO吞吐量/磁盘空间，如果没有什么特殊原因推荐针对Column Family设置compression，下面主要有三种算法: GZIP, LZO, Snappy，作者推荐使用Snappy，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。Comparison between compression algorithms

转载 CentOS设置IP & DNS & Hostname

#设置Hostname#修改/etc/hostname127.0.0.1 localhost.localdomain localhost10.10.10.10 centos#设置网关#修改/etc/sysconfig/networkNETWORKING=yesNETWORKING_IPV6=noHOSTNAME=centosGATEWAY=10.95

转载 Bloom filter：大数据快速排除算法

Bloom filter是由 Howard Bloom在 1970 年提出的一种多哈希函数映射的快速查找算法，该算法能够在非常快速的判定某个元素是否在一个集合之外。这种检测只会对在集合内的数据错判，而不会对不是集合内的数据进行错判，这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情况。目前Bloom filter在分布式系统中有着广泛的使用，比如说GFS/H

转载 Java 存储到什么地方

程序运行时，对象是怎么进行放置安排的呢？特别是内存是怎样分配的呢？对这些方面的了解会对你有很大的帮助。有六个不同的地方可以存储数据：1 ． 寄存器（register）。这是最快的存储区，因为它位于不同于其他存储区的地方——处理器内部。但是寄存器的数量极其有限，所以寄存器由编译器根据需求进行分配。你不能直接控制，也不能在程序中感觉到寄存器存在的任何迹象。2 ． 堆栈（stack）

翻译 Java容器类List、ArrayList、Vector及map、HashTable、HashMap 概念

List、ArrayList、Vector及map、HashTable、HashMap 之间的关系Collection├ List 接口│├ LinkedList 链表│├ ArrayList 顺序结构动态数组类│└ Vector 向量│　└ Stack 栈└SetMap├ Hashtable├ HashMap└ WeakHashMap List

转载 详解HBase Compaction

HBase 中有一种数据行为叫Compaction，从字面的意思就是数据文件合并，本文对Compaction的目的，控制方法，具体实施过程等几个方面对HBase 的 Compaction 行为进行了介绍。1. Compaction是什么合并多个HFile生成一个HFileCompaction有两种：Minor Compaction（部分文件合并）Major Compac

转载 Eclipse导入Hadoop源码项目

将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件。 第一步：在Eclipse新建一个Java项目 第二步：将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录 第三步：修改将Java Build Path，

转载 mapreduce JobConf 常用可定制参数

参数作用缺省值其它实现inputFormat将输入的数据集切割成小数据集inputSplits, 每一个InputSplit将 由一个Mapper负责处理。此外inputFormat中还提供一个RecordReader的 实现, 将一个InputSplit解 析成《key,value》 对提供给 map 函数。Text

转载 Chrome下强制http重定向到https的方法

http://www.williamlong.info/archives/3270.html

原创 HDFS 空间回收在利用 & 文件删除和取消

参考地址：http://hadoop.apache.org/docs/stable/hdfs_design.html#File+Deletes+and+Undeleteshadoop fs -expunge 的说明，以及HDFS 空间回收在利用当一个文件被一个用户或者一个文件删除，它不是立刻从HDFS上移除，相反，HDFS首先将其重命名到/trash 目录，只要这个文件还在 /tras

原创 java设计模式-单例模式

/** * 单例模式 * 保证一个类只有一个实例，并提供一个访问它的全局访问点 * @author kevin */public class Singleton { private static Singleton singleton = new Singleton(); private Singleton() { } public static Single

转载 AGAIN: 分布式网络计算八大谬论

早在1994年 SUN 的小伙 Peter Deutsch就提出了分布式计算的七大谬论，后来被 James Gosling等完善:Fallacies of Distributed Computing1. 网络是可靠的2. 网络延时为零3. 带宽是无限的4. 网络是安全的5. 网络拓扑不会改变6. 肯定至少有一个管理员（在值班）7. 传输开销为零8. 网络是同

转载 VIM和shell的切换

本章深入讨论如何让其它程序跟 Vim 混用。或者从 Vim 内部执行别的程序，或者暂时先离开 Vim 而于执行了那个程序后再回来。而且，本章将进一步介绍如何记住 Vim 的当前0状态，并在以后把它还原回来。挂起和恢复在图形化里面大概就没什么用了。（作用等同鼠标的最小化）简单的说一下：用CTRL-Z 挂起。这个动作把 Vim 停下来，并让你回到那个你启动 Vim 的命令 shell 里。然后再用

转载 TTP协议及其POST与GET操作差异 & C#中如何使用POST、GET等

HTTP协议及其POST与GET操作差异 & C#中如何使用POST、GET等http://www.cnblogs.com/skynet/archive/2010/05/18/1738301.html

转载 int、bigint、smallint 和 tinyin使用整数数据的精确数字数据类型

数据类型范围存储bigint-2^63 (-9,223,372,036,854,775,808) 到 2^63-1 (9,223,372,036,854,775,807)8 字节int-2^31 (-2,147,483,648) 到 2^31-1 (2,147,483,647)4 字节

转载 Linux下为PHP添加FTP扩展

找到原来的源码包解压一下cd /home/redhat/php-5.2.13/ext/ftp调用phpize程序生成编译配置文件/usr/local/php5/bin/phpize编译扩展库，分别执行下面的configure和make命令./configure --with-php-config=/usr/local/php5/bin/php-configconfigure这一步