IT
文章平均质量分 57
f_xinzi
这个作者很懒,什么都没留下…
展开
-
HDFS文件统计
统计文件个数hdfs dfs -ls /daas/bstl/dpiqixin/yunnan*/*/*2017112022* | wc -l统计文件大小hdfs dfs -du -h /daas/bstl/dpiqixin/yunnan*/20171120/*2017112014*.lzo_deflate | awk '{sum += $1}; END{print sum}'原创 2017-12-08 15:56:06 · 540 阅读 · 0 评论 -
hbase0.98自定义过滤器
一般来说调整表设计就可以优化访问模式。但是有时你已经把表设计调整得尽可能好了,为不同访问模式优化得尽可能好了。当你仍然需要减少返回客户端的数据或者现有的过滤器还不能满足需求时,这就是考虑使用过滤器的时候了。自定义filter继承的接口Filter,或是FilterBase。以下是重写的方法: filterRowKey根据RK决定行是否被过滤 filter原创 2017-12-08 16:03:35 · 319 阅读 · 0 评论 -
Thrift开发接口
Thrift是facebook技术核心框架之一,不同开发语言开发的服务可以通过该框架实现通信。Thrift通过接口定义语言 (interface definition language,IDL) 来定义数据类型和服务,Thrift接口定义文件由Thrift代码编译器生成thrift目标语言的代码(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Ha原创 2017-12-08 16:10:07 · 1183 阅读 · 0 评论 -
HBASE协处理器
HBase在0.92之后引入了coprocessors,提供了一系列的钩子,让我们能够轻易实现访问控制和二级索引的特性。下面简单介绍下两种coprocessors,第一种是Observers,它实际类似于触发器,第二种是Endpoint,它类似与存储过程和触发器。由于这里只用到了Observers,所以只介绍Observers,想要更详细的介绍请查阅。观察者(Observer)原创 2017-12-08 16:13:17 · 205 阅读 · 0 评论