大数据
文章平均质量分 82
牛奋lch
我是一只快乐的程序猿……
展开
-
storm基础详解
Storm基础详解一、storm是什么Storm是一个分布式的、可靠的、高容错的实时流式数据处理系统。二、storm的特性简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性,可以使用各种编程语言,容错性,水平扩展,可靠的消息处理等。三、storm的应用场景Storm主要的应用场景就是流式数据处理,例如实时推荐系统,实时监控系原创 2016-07-27 10:33:36 · 1760 阅读 · 0 评论 -
搭建HBase单机环境
一、安装环境1、VM:VMware-workstation7.0.12、OS:CentOS6.43、JDK:JDK1.8.0_1114、HBase:hbase-0.90.4.tar.gz二、安装Java环境 如果出现上面的信息,则说明Java环境已经是OK的,否则需要先搭建Java环境,具体的Java环境搭建就不在这里赘述了,本篇的重点是HBase的单机环境搭建。三原创 2016-11-04 13:10:33 · 814 阅读 · 0 评论 -
Hbase中内置Filter详解
一、建表1、表名:“ORDER_TABLE”2、列簇:“user”,“order”,“item”3、表结构如下: 二、封装服务服务代码如下:@Override public String get(String tableName, Filter filter) { Scan scan = new Scan(); scan.setFilter(filter);原创 2016-11-22 16:12:39 · 12139 阅读 · 0 评论 -
Hbase表设计总结
1. Row Key是HBase表结构设计中很重要的一环,它设计的好坏直接影响程序和HBase交互的效率和数据存储的性能。 2. Base的表结构比传统关系型数据库更灵活,你能存储任何二进制数据在表中,而且无关数据类型。 3. 在相同的列族中所有数据都具有相同的接入模式 4. 主要是通过Row Key来建立索引 5. 以纵向扩张为主设计的表结构能快速简单的获取数据,转载 2016-11-24 14:57:27 · 880 阅读 · 0 评论 -
spring data hadoop操作hbase
一、使用的jar版本1、hbase-client:0.96.1.1-cdh5.0.02、spring-data-hadoop:2.2.1.RELEASE3、Spring:4.2.1.RELEASE二、hbase-site.xml配置configuration> property> name>hbase.zookeeper.quorumname>原创 2016-11-10 18:08:01 · 14367 阅读 · 1 评论 -
Hbase中多版本(version)数据获取办法
前言:本文介绍2种获取列的多版本数据的方式:shell和spring data hadoop一、hbase shell中如何获取 1、在shell端创建一个Hbase表create 't1','f1' 2、查看表结构describe 't1'表结构如下:Table t1 is ENABLED原创 2016-12-27 14:50:47 · 45493 阅读 · 2 评论