关闭

redis 工具类

Java代码   import java.util.Map;      import org.apache.log4j.Logger;      import redis.clients.jedis.Jedis;      import com.chanjet.gov.service.Const;         public class RedisUtil {  ...
阅读(3428) 评论(1)

HBase表重命名

hbase shell> disable 'oldTableName' hbase shell> snapshot 'oldTableName', 'tableSnapshot' hbase shell> clone_snapshot 'tableSnapshot', 'newTableName' hbase shell> delete_snapshot 'tableSnapshot' hbas...
阅读(1298) 评论(0)

Apache HBase快照介绍

转自 http://www.importnew.com/4966.html CDH是Cloudera的完全开源分布式Apache Hadoop及相关项目(包括Apache HBase)。CDH的当前版本(4.2)引入的一个HBase新特性最近加入到了主干中,允许用户对指定表进行快照。 在CDH4.2之前,唯一能够备份或克隆表的方法就是使用复制/导出表或者在关闭表之后拷贝HD...
阅读(512) 评论(0)

如何使用Hadoop的JobControl

转自:http://qindongliang.iteye.com/blog/2064281 使用Hadoop里面的MapReduce来处理海量数据是非常简单方便的,但有时候我们的应用程序,往往需要多个MR作业,来计算结果,比如说一个最简单的使用MR提取海量搜索日志的TopN的问题,注意,这里面,其实涉及了两个MR作业,第一个是词频统计,第两个是排序求TopN,这显然是需要两个MapReduce作...
阅读(1541) 评论(0)

SynchronizedMap和ConcurrentHashMap的深入分析

转自:http://blog.sina.com.cn/s/blog_5157093c0100hm3y.html     在开始之前,先介绍下Map是什么? javadoc中对Map的解释如下: An object that maps keys to values . A map cannot contain duplicate keys; each key can m...
阅读(389) 评论(0)

IBM---Java 多线程与并发编程专题

http://www.ibm.com/developerworks/cn/java/j-concurrent/   有线程安全也有线程池的实现~...
阅读(714) 评论(0)

Java中的移位操作以及基本数据类型转换成字节数组【收集】

AVA中位运算符包括: & | ~ ^ >> >>> 一、 首先要搞清楚参与运算的数的位数: ( 联想:java的8种基本类型:byte,short, char, int, long,float,double,boolean.     在内存中固定长度(字节):1      2       2       4     8     4       8      true...
阅读(456) 评论(0)

83款 网络爬虫开源软件

网络爬虫介绍及其比较 http://www.docin.com/p-321349858.html 1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view&   搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部...
阅读(2553) 评论(0)

UNICODE,GBK,UTF-8区别

简单来说,unicode,gbk和大五码就是编码的值,而utf-8,uft-16之类就是这个值的表现形式.而前面那三种编码是一兼容的,同一个汉字,那三个码值是完全不一样的.如"汉"的uncode值与gbk就是不一样的,假设uncode为a040,gbk为b030,而uft-8码,就是把那个值表现的形式.utf-8码完全只针对uncode来组织的,如果GBK要转UTF-8必须先转uncode码,再转...
阅读(428) 评论(0)

Hive常用的SQL命令操作

转自 http://blog.csdn.net/wisgood/article/details/17186599 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING);  创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (...
阅读(340) 评论(0)

hive的Specified key was too long; max key length is 767 bytes问题解决

把hive 的metadata配置成mysql,执行命令时报以下错误 hive> show tables; FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreException An exception was thrown while adding/validat...
阅读(3455) 评论(0)

关于几种压缩算法以及hadoop和hbase中的压缩配置说明

Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy,其中lzo、snappy需要操作系统安装native库才可以支持 下面这张表,是比较官方一点的统计,不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的,压缩比最高,GZIP不能被分块并行的处理;Snappy和LZO差不多,稍微胜出一点,cpu消耗的比GZIP少。 通常情况下,想在CPU和IO之间取...
阅读(638) 评论(0)
    个人资料
    • 访问:1204383次
    • 积分:9268
    • 等级:
    • 排名:第2203名
    • 原创:120篇
    • 转载:222篇
    • 译文:1篇
    • 评论:146条
    最新评论