HBase
文章平均质量分 65
power0405hf
这个作者很懒,什么都没留下…
展开
-
Scala Hbase 问题汇总 stack overflow
1.object hbase is not a member of package org.apache.hadoop when compiling scala 在Scala工程中使用HBase API,import hbase时, import org.apache.hadoop.hbase出现编译错误解决(大概,没有尝试): 使用sbt构建工程时,添加依赖: hbase-clien原创 2015-11-18 14:33:57 · 2157 阅读 · 0 评论 -
Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone
0.下载安装IDEAIDEA主页1.安装Scala插件2.新建工程 打开新工程后,在src文件夹下新建一个文件夹,名为qyTest2,在里面新建一个scala class,把class的类型改为object。 3.设置Project Structure打开File-》Project Structure -》Libraries 加入新的lib(new project lib->java),选择S原创 2015-11-29 14:50:31 · 7817 阅读 · 0 评论 -
Hbase hbase-site.xml参数 性能调优
1.HBase hbase-site.xml 参数 2.Hbae数据库性能调优 3.HBase性能优化方法总结 4.【甘道夫】HBase基本数据操作详解【完整版,绝对精品】 5.Apache HBase ™ Reference Guide 以上5篇都很有帮助1.配置优化:1.zookeeper.session.timeout默认值: 3min(180000ms) 说明: RegionS原创 2016-01-08 13:33:39 · 1682 阅读 · 0 评论 -
HBase 表的创建 属性 避免热点问题 region split
1.查看建表帮助help 'create'Creates a table. Pass a table name, and a set of column familyspecifications (at least one), and, optionally, table configuration.Column specification can be a simple string (na原创 2015-12-06 21:19:46 · 1873 阅读 · 1 评论 -
HBase master stops with “Connetion Refused” Error
HBase master stops with “Connetion Refused” ErrorHOW TO CONFIGURE HBASE IN PSEUDO DISTRIBUTED MODE ON A SINGLE LINUX BOX If you have successfully configured Hadoop on a single machine in pseudo-distri原创 2015-12-09 14:15:49 · 3739 阅读 · 0 评论 -
Scala 的Hbase接口函数
GenTang/spark_hbase/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional informat转载 2016-01-08 10:01:50 · 829 阅读 · 0 评论 -
Spark 连接 Hbase 配置
1.count对表terminal_data_file1进行count:package qyTest3import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.mapreduce.TableInputFormatimport org.apache.spark.{SparkContext, Spa原创 2015-11-30 20:24:47 · 3197 阅读 · 0 评论 -
Java是如何读到hbase-site.xml 的内容的
Java是如何读到hbase-site.xml 的内容的Java客户端使用的配置信息是被映射在一个HBaseConfiguration 实例中. HBaseConfiguration有一个工厂方法, HBaseConfiguration.create(); 运行这个方法的时候,他会去CLASSPATH,下找hbase-site.xml,读他发现的第一个配置文件的内容。 (这个方法还会去找h原创 2015-12-30 19:12:18 · 3249 阅读 · 1 评论 -
Happy Base
HappyBase is a developer-friendly Python library to interact with Apache HBase.Happy Base Github原创 2015-11-27 22:35:50 · 1116 阅读 · 0 评论 -
Scala PrefixFilter
How to read from hbase using sparkTableInputFormat has the following attributes:SCAN_ROW_STARTSCAN_ROW_STOPconf.set(TableInputFormat.SCAN_ROW_START, "startrowkey")conf.set(TableInputFormat.SCAN_ROW_原创 2015-12-14 22:33:34 · 863 阅读 · 0 评论 -
HBase Thrift 接口函数
参考文献hbase源码系列(十四)Compact和Split最重要的:class Client(Iface)1.def enableTable(self, tableName)2.def disableTable(self, tableName)3.def isTableEnabled(self, tableName)4.def compact(self, tableNameOrRegionName原创 2015-11-27 12:52:02 · 2968 阅读 · 1 评论 -
pyspark Python 连接 HBase thrift
0.引言HBase-thrift项目是对HBase Thrift接口的封装,屏蔽底层的细节,使用户可以方便地通过HBase Thrift接口访问HBase集群,python通过thrift访问HBase。1.thrift安装python客户端机器安装: thrift官网 下载thrift-0.9.3.tar.gz 下载后解压到当前文件夹 tar xvf thrift-0.9.3.tar.原创 2015-11-16 14:40:03 · 4199 阅读 · 0 评论 -
HBase shell scan 模糊查询
0.进入hbase shell ./hbase shell help help “get” #查看单独的某个命令的帮助1. 一般命令status 查看状态version 查看版本2.DDL(数据定义语言Data Definition Language)命令1. 创建表create ‘表名称’,’列名称1’,’列名称2’,’列名称3’ 如:create 'member','原创 2015-11-13 22:28:07 · 84941 阅读 · 2 评论 -
Hbase unable to create new native thread
HBase unable to create new native thread 错误解决方法转载 2015-12-09 14:05:15 · 1305 阅读 · 0 评论