HBase
IU菜籽U
当你发现自己的才华撑不起野心时,就请安静下来学习吧
展开
-
HBase Shell 操作命令&&使用Sqoop将数据导入HBase
一、HBase Shell 操作命令实验要求:HBase集群正常启动,且可以运行正常进入客户端[zkpk@master ~]$ cd /home/zkpk/hbase-0.98.7-hadoop2[zkpk@master hbase-0.98.7-hadoop2]$ bin/hbase shell查看列表hbase(main):001:0> list创建表test原创 2015-10-19 17:45:24 · 2602 阅读 · 0 评论 -
通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
下文将重点说明通过Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令。一、Mysql与HDFS互导数据环境:宿主机器操作系统为Win7,Mysql安装在宿主机上,宿主机地址为192.168.10.503台虚拟机操作系统为CentOS 位三台虚拟机已成功安装Hadoop,并实现免密钥互访,配hosts为:192.原创 2016-06-29 19:13:34 · 687 阅读 · 0 评论 -
HBase-----数据模型。定位一条数据4个标签(TableName, RowKey, ColumnKey, Timestamp)
BigTable是什么?Google的Paper对其作了充分的说明。字面上看就是一张大表,其实和我们想象的传统数据库的表还是有些差别的。松散数据可以说是介于Map Entry(key & value)和DB Row之间的一种数据。在我使用Memcache的时候,有时候的需求是需要存储的不仅仅是简单的一个key对应一个value,可能我需要类似于数据库表结构中多属性的存储,但是又不会有传统数据库转载 2016-07-01 17:20:20 · 4993 阅读 · 0 评论 -
Hive整合HBase 通过Hive读/写HBase中的表
写在前面一:本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰。 写在前面二:使用软件说明约定所有软件的存放目录:/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive转载 2016-07-01 18:35:56 · 23146 阅读 · 1 评论 -
Not a host:port pair: PBUF(用Java客户端(Eclipse平台)连接Hbase)&&apache官网Jar下载流程
Not a host:port pair: PBUF(用Java客户端(Eclipse平台)连接Hbase)&&apache官网Jar下载流程原创 2016-06-16 14:05:39 · 1427 阅读 · 0 评论 -
Java客户端操作HBase代码
package com.cys.zdzn;import java.io.IOException;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.h原创 2016-06-17 16:53:44 · 4015 阅读 · 0 评论 -
Linux采用sqoop定时从关系型数据库中导入hbase中
在Hbase创建buyer_name表以及簇列buyer_infocreate 'buyer_name','buyer_info'crontab -e#crm57 10 * * * /usr/home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/sqoop import --append --connect jdbc:oracle:t原创 2016-07-27 11:18:15 · 1378 阅读 · 0 评论 -
从Windows下Java程序如何操作Linux下Hbase数据库表过程、难点的心得历程
Java客户端访问Hbase1. 过程A. 首先搭建Hadoop集群、在集群中搭建zookeeper最后搭建Hbase(在搭建过程中由于最新版本不稳定建议采用较低版本的Hadoop:2.5-2.7均可,Zookeeper:zookeeper-3.3.6,HBase:hbase-0.98.19-hadoop2),下载地址:http://mirrors.cnnic.cn/apac原创 2016-06-17 17:00:23 · 1976 阅读 · 0 评论 -
Hive学习总结之五:HBase和Hive的集成
Hive集成HBase可以有效利用HBase数据库的存储特性,如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive集成HBase需要在Hive表和HBase表之间建立映射关系,也就是Hive表的列(columns)和列类型(column types)与HBase表的列族(column families)及列限定词(column qualifiers)建立关联。每一个在Hive表中的域都存在于HBase中,而在Hive表中不需要包含所有HBase中的列。HBase中的RowKey对转载 2016-07-06 14:55:08 · 1710 阅读 · 0 评论 -
java.nio.channels.SocketChannel[connected local=/192.168.10.51:45306 remote=slave1/192.168.10.51:500
经过日志的初步分析,发现3600s这个线索,从job的configuration中,初步查找出参数dfs.client.socket-timeout,单位毫秒。-Ddfs.client.socket-timeout=3600000试验性地将这个参数修改为60ms,可以看出出现超时的概率非常大,但会不断重试以继续:2014-09-26 12:53:03,184 WARN [main] o原创 2016-08-02 14:44:55 · 7110 阅读 · 0 评论 -
MapReduce任务运行到running job卡住
一:如下异常:Starting Job16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:803216/06/30 01:15:35 INFO input.FileInputFormat: Total input paths to process :原创 2016-06-29 17:22:57 · 10535 阅读 · 1 评论 -
深入理解HBase的memestore、storeFile(HFile)
原文出处:http://shitouer.cn/2013/02/configuring-hbase-memstore-what-you-should-know MemStore是HBase非常重要的组成部分,深入理解MemStore的运行机制、工作原理、相关配置,对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解转载 2017-04-09 17:07:41 · 11525 阅读 · 0 评论 -
HBase详细概述(推荐)
声明: 本人只是把好的东西分享,没有别的目的,敬请原作谅解,在此要感谢作者转载:http://blog.csdn.net/u010270403/article/details/51648462本文首先简单介绍了Hbase,然后重点讲述了hbase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构,HBase调优、HBase Sh转载 2017-07-03 10:47:00 · 1579 阅读 · 1 评论 -
HBase的shell命令无法使用,如上图,与Hbase对应的HMaster进程没有启动
HBase的shell命令无法使用,如上图,与Hbase对应的HMaster进程没有启动原创 2016-07-01 10:37:43 · 5671 阅读 · 0 评论 -
在Eclipse中运行JAVA代码远程操作HBase的示例
下面是一个在Windows的Eclipse中通过JAVA操作一个Linux上运行的hbase的示例。Hbase的配置需要注意下面一些要点:1,服务器端用主机名配置hadoop和hbase,不要用IP比如如下: hbase.zookeeper.quorum hadoopsrv 2,hbase运行的机器上的机器名不能叫localhost改/etc/sysc转载 2016-06-15 07:24:28 · 3299 阅读 · 0 评论 -
HMaster不能被启动
一异常来源$start-hbase.sh$hbase shellhbase(main):002:0> list当执行list时出现异常进入hbase-master日志查看出现如图异常信息二 异常分析第一步首先检查相关进程是否完整[zkpk@slave1 ~]$ jps错误进程信息如图为正确进程种类数量上面两张图对比可以看出第一原创 2015-10-16 12:18:09 · 454 阅读 · 0 评论 -
HBase简介
源自:http://jiajun.iteye.com/blog/899632一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First转载 2015-10-10 19:10:24 · 397 阅读 · 0 评论 -
Hbase 表设计
HBase与RDBMS的区别在于:HBase的Cell(每条数据记录中的数据项)是具有版本描述的(versioned),行是有序的,列(qualifier)在所属列簇(Column families)存在的情况下,由客户端自由添加。以下的几个因素是Hbase Schema设计需要考虑的问题: 1、 Hbase中没有joins的概念大表的结构可以使得不需要joins,而解决这一问题。原创 2015-10-14 17:25:51 · 2264 阅读 · 0 评论 -
HBase笔记
HBase是HadoopDataBase简写主要功能:能够处理结构化数据和非结构化数据并在这两种数据之间相互转换特点:高可靠性,很强的稳定性,效率高安装HBase完成进入hbase操作环境[zkpk@master ~]$ cd hbase-0.98.9-hadoop2/bin开启hbase[zkpk@master bin]$ start-hbase.原创 2015-10-10 12:53:22 · 348 阅读 · 0 评论 -
HBase模式设计
关系型数据库(mysql、Oracle、SQL Server):一、 1、建库 create database studb; 2、建表 use studb; create table student( id int primary key, name char(10),原创 2015-10-14 17:27:28 · 1507 阅读 · 0 评论 -
Java类实现HBase表的创建、添加、扫面等操作
package day1010;import java.io.IOException;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;原创 2015-10-14 19:55:45 · 1486 阅读 · 0 评论 -
Hbase shell
Hbase shell下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBaseShell命令,如下: 一、一般操作1.查询服务器状态hbase(main):024:0>status3 servers, 0 dead,1.0000 average load 2.查询hive版本 hbase(main):025:0>ver原创 2015-10-13 16:51:02 · 372 阅读 · 0 评论 -
HBase Java API类介绍
几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库(DataBase)HBaseConfigurationHTable表(Table)HTableDescriptor列族(Column Family)原创 2015-10-15 11:52:54 · 652 阅读 · 0 评论 -
数据导入HBase最常用的三种方式
要使用Hadoop,数据合并至关重要,HBase应用甚广。一般而言,需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中。常见方式为:使用HBase的API中的Put方法; 使用HBase 的bulk load 工具;使用定制的MapReduce Job方式。《HBase Administration Cookbook》一书对这三种方式有着详尽描述,由 Impo转载 2015-12-22 14:12:26 · 7507 阅读 · 0 评论 -
Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDyna
一异常原因用Sqoop将数据从mysql导入到Hbase表出现异常如下:[root@master bin]# ./sqoop import --connect jdbc:mysql://192.168.10.169/qyyx_test --username root --password sendinfo --table spread_log --hbase-create-ta原创 2016-06-28 18:29:23 · 4452 阅读 · 3 评论 -
HBase Shell 常用命令及例子
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'转载 2016-06-14 13:27:29 · 1168 阅读 · 0 评论 -
文本文件导入HBase中
文本文件导入到Hbase中 创建表sudo su -su - hadoop./hbase shellcreate 'table1',{NAME => 'DF', VERSIONS => 5} www.2cto.com 配置环境1.修改hadoop环境 vi /opt/hadoop-1.0.0/conf/hadoop-env.sh增加如下信息 export HBA转载 2016-07-12 11:36:59 · 2767 阅读 · 0 评论 -
Sqoop工具实现,hive、Hbase、HDFS与mysql、oracle数据导入
文将重点说明通过Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令。一、Mysql与HDFS互导数据环境:宿主机器操作系统为Win7,Mysql安装在宿主机上,宿主机地址为192.168.66.963台虚拟机操作系统为Ubuntu-12.04.1-32位三台虚拟机已成功安装Hadoop,并实现免密钥互访,配hosts为原创 2016-04-22 13:19:37 · 1857 阅读 · 0 评论