hive 插入数据映射到hbase_Hive导入数据到HBase,再与Phoenix映射同步

1. 创建HBase 表

create 'hbase_test','user'

2. 插入数据

put 'hbase_test','111','user:name','jack'

put 'hbase_test','111','user:age','18'

查看HBase

3. 创建Hive外部表关联Hbase

create external table hbase_test1(

id int,

name string,

age int

)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,user:name,user:age")

TBLPROPERTIES("hbase.table.name" = "hbase_test");

查看Hive

4.再插入数据到HBase，查询验证

查询Hive

5. 插入数据到Hive表，查询验证

insert into hbase_test(id,name,age) values(333,'mary',25);

查询Hive

查询HBase

6. 在Phoenix中建立相同的表名以实现与HBase表的映射

create table if not exists "hbase_test"(id varchar primary key, "user"."name" varchar, "user"."age" varchar);

注意：

Phoneix中创建的表与HBase中映射的表名要相同

phoneix中创建表的字段名与与HBase中映射表的字段名要相同(注意大小写)

查询Phoenix

7. 插入数据到Phoenix，查询验证

upsert into "hbase_test"(id,"name","age") values('444','haha','33');

查询Phoenix

查询HBase

查询Hive

使用Sqoop从mysql向hdfs或者hive导入数据时出现的一些错误

1.原表没有设置主键,出现错误提示: ERROR tool.ImportTool: Error during import: No primary key could be found for tab ...

hive-hbase-handler方式导入hive表数据到hbase表中

Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler.jar工具类 : hive-hbase-handler.jar在 ...

通过phoenix导入数据到hbase出错记录

解决方法1 错误如下 -- ::, [hconnection-0x7b9e01aa-shared--pool11069-t114734] WARN org.apache.hadoop.hbase.ip ...

Hive导入数据的四种方法

Hive的几种常见的数据导入方式这里介绍四种:(1).从本地文件系统中导入数据到Hive表:(2).从HDFS上导入数据到Hive表:(3).从别的表中查询出相应的数据并导入到Hive表中:(4).在 ...

【转】hive导入数据出现NULL

在把hdfs上数据迁移到hive中的表时,若出现数据位NULL,是因为没有指定列分隔符. 由于hive默认的分隔符是/u0001(Ctrl+A),为了平滑迁移,需要在创建表格时指定数据的分割符号,语法 ...

sqoop从hive导入数据到mysql时出现主键冲突

今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决.使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的o ...

批量导入数据到HBase

hbase一般用于大数据的批量分析,所以在很多情况下需要将大量数据从外部导入到hbase中,hbase提供了一种导入数据的方式,主要用于批量导入大量数据,即importtsv工具,用法如下:   Us ...

hive 导入数据

1.load data load data local inpath "/home/hadoop/userinfo.txt" into table userinfo; " ...

hive导入数据

替换分隔符为\ sed -i 's/\t/\x1/g;s/;/\x1/g' test1.txt gz压缩 gzip -r test1.txt 查看文件 hdfs dfs -ls /hive/wareh ...

随机推荐

windows php线程安全和不安全，两个版本我也看不懂，记下来再说。

Windows下的PHP版本分两种:线程安全版本与非线程安全版本. 要论两者的区别,详细论说起来比较麻烦,从使用者的角度,记住什么时候用哪种版本的区别就可以了吧: 1.windows + IIS + ...

struts2中用xml配置文件去验证填写信息

xml名字是这样的 actionName-validation.xml 每个action 对应一个xml文件 xml文件和action放在同一个包下 后台验证用户输入是否符合格式要求,不符合,提交后返 ...

javascript 之作用域-06

作用域 作用域是指变量和函数可访问范围,他规定了如何查找变量,也就是确定当前执行代码对变量的访问权限. 作用域有两种工作模式: 静态作用域 :又称为词法作用域,在编译阶就可以决定变量的引用,由程序定义 ...

Python基础学习篇章二

一. Python如何运行程序 1. 在交互模式下编写代码 最简单的运行Python程序的方法是在Python交互命令行中输入程序.当然有很多方法可以开始这样的命令行,比如IDE,系统终端.如果你已经 ...

javascript高级程序设计第3版——第一章概括

最近发现Xmind思维导图是个好东西,刚好开始看书,被用来归纳最好不过了

elastic客户端TransportClient的使用

关于TransportClient,elastic计划在Elasticsearch 7.0中弃用TransportClient,并在8.0中完全删除它.后面,应该使用Java高级REST客户端,它执行 ...

TCP可靠传输：校验和，重传控制，序号标识，滑动窗口、确认应答

Tcp通过校验和,重传控制,序号标识,滑动窗口.确认应答实现可靠传输 应答码:ACK TCP的滑动窗口机制       TCP这个协议是网络中使用的比较广泛,他是一个面向连接的可靠的传输协议.既然是一 ...

用纯JS实现，点击一个列表时，输出对应的索引(不能用JQuery哦)

你运行一下代码会发现,无论你点击哪个列表,控制台都是输出10.这是因为var声明的变量是函数作用域的,而不是块级作用域的.也就是说,for循环10次,每次都是改变同一个i,所以它的值会从0一直加到10 ...

【hdu4010】 Query on The Trees

http://acm.hdu.edu.cn/showproblem.php?pid=4010 (题目链接) 题意 link cut tree板子 Solution link cut tree 细节 注 ...

集合里面的 E是泛型 暂且认为是object

集合里面的 E是泛型 暂且认为是object