- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Hive JOIN使用详解
Hive是基于Hadoop平台的，它提供了类似SQL一样的查询语言HQL。有了Hive，如果使用过SQL语言，并且不理解Hadoop MapReduce运行原理，也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MR Job。对于最基本的
2016-01-27 19:05:46
354
转载 Hbase shell
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表
2016-01-27 14:55:13
540
转载 大数据性能调优之HBase的RowKey设计
1 概述HBase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二进制码流，最大长度为64KB，内容可以由使用的用户自定义。数据加载时，一般也是根据Rowke
2016-01-27 14:44:39
1182
转载 经典hash算法比较和C语言实现
常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。常用字符串哈希函数有BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等。对于以上几种哈希函数，我对
2016-01-27 14:40:40
8819
转载 hbase的thrift接口
一、概述Hbase是目前比较火的列存储数据库，由于Hbase是用Java写的，因此它原生地提供了Java接口，对非Java程序人员，怎么办呢？幸好它提供了thrift接口服务器，因此也可以采用其他语言来编写Hbase的客户端，本文即是Hbase C++接口的介绍。目前的Hbase（0.94.11，本文即基于此版本）有两套thrift接口（可以叫thrift1和thrift2）,它们并不兼容
2016-01-25 16:10:57
1772
转载 Thrift官方安装手册（译）
本篇是Thrift官网安装文档的翻译，原地址点击这里。Thrift之前是不支持Windows的。但是似乎0.9版本以后已经支持Window了。介绍了Thrift安装的环境要求以及在centos,Debian/Ubuntu,OS X和Windows下的安装过程。并提出了一些安装过程中可能遇到的问题和解决办法。适用于thrift0.9版本。1 Thrift的环境要求Apache
2016-01-25 16:04:29
597
原创 redis快照文件dump.rdb解析工具--redis-rdb-tools
redis-rdb-tools 是一个开源的解析redis快照文件dump.rdb的工具，解析出dump.rdb文件后可以用来做数据分析，redis数据恢复或者写入到其他key-value缓存系统中。1.下载&安装git clone https://github.com/sripathikrishnan/redis-rdb-toolscd redis-rdb-toolssu
2016-01-21 18:00:13
10024
转载 Redis数据备份与恢复
Redis数据备份与恢复持久化RDB方式(默认)RDB方式的持久化是通过快照（snapshotting）完成的，当符合一定条件时Redis会自动将内存中的所有数据进行快照并存储在硬盘上。进行快照的条件可以由用户在配置文件中自定义，由两个参数构成：时间和改动的键的个数。当在指定的时间内被更改的键的个数大于指定的数值时就会进行快照。RDB是Redis默认采用的持
2016-01-21 17:52:53
821
转载 redis持久化机制
Redis 持久化Redis 提供了不同级别的持久化方式:RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储.AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大.如果你只希望你的数据在服务
2016-01-21 10:40:22
1217
原创 Linux java环境搭建
1.下载jdkwget -S "http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.tar.gz?AuthParam=1452677949_8c8c1aa572c1bb6a1a6b11fdac98935c" -O jdk-8u65-linux-x64.tar.gz2. 解压tar包到指定目录
2016-01-13 18:55:35
1365
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人