在Hive中建立HBase表的映射

参考博客:https://blog.csdn.net/csdnDAO/article/details/53638937

建立HBase的软连接:

#!/bin/sh
#HOST是部署HBase的节点
HOST=(node1,node2,node3)
for host in ${HOST[@]}
do
  echo $host
  ssh $host "ln -s /usr/lib/hbase/hbase-client-1.0.0-cdh5.11.2.jar /usr/lib/hive/lib/hbase-client.jar"
  ssh $host "ln -s /usr/lib/hbase/hbase-common-1.0.0-cdh5.11.2.jar /usr/lib/hive/lib/hbase-common.jar"
  ssh $host "ln -s /usr/lib/hbase/hbase-hadoop2-compat-1.0.0-cdh5.11.2.jar /usr/lib/hive/lib/hbase-hadoop2-compat.jar"
  ssh $host "ln -s /usr/lib/hbase/hbase-hadoop-compat-1.0.0-cdh5.11.2.jar /usr/lib/hive/lib/hbase-hadoop-compat.jar"
  ssh $host "ln -s /usr/lib/hbase/hbase-protocol-1.0.0-cdh5.11.2.jar /usr/lib/hive/lib/hbase-protocol.jar"
  ssh $host "ln -s /usr/lib/hbase/hbase-server-1.0.0-cdh5.11.2.jar /usr/lib/hive/lib/hbase-server.jar"
  ssh $host "ln -s /usr/lib/hbase/lib/htrace-core-3.0.4.jar /usr/lib/hive/lib/htrace-core.jar"
  ssh $host "ln -s /usr/lib/zookeeper/zookeeper.jar /usr/lib/hive/lib/zookeeper.jar "
done

执行在Hive中创建外部表的命令:

CREATE EXTERNAL TABLE royasoft.v_news_227_info(
key string comment "rowkey",
News_Id string comment "资讯ID",
News_Title string comment "标题",
News_Dt string comment "新闻日期",
Website_Id string comment "0-微信订阅号\r\n1-微博\r\n2-头条号\r\n3-知乎\r\n4-行业网站\r\n5-门户网站\r\n5-1新浪门户",
Keywords string comment "关键词",
URL string comment "原文URL",
Abstract string comment "摘要",
Author string comment "作者",
Image_URL1 string comment "图片链接1",
Image_URL2 string comment "图片链接2",
Image_URL3 string comment "图片链接3",
Image_URL4 string comment "图片链接4",
Original_Flag string comment "原创标识1-原创0-非原创\r\n3-wqj-sina-scrapy\r\n5-zhanghe-scrapy\r\n6-spz-scrapy",
Original_Declare_Flag string comment "原作者声明标识1-有声明0-无申明",
Auth_Flag string comment "授权标识1-有授权0-无授权",
Ad_Flag string comment "广告标识1-有广告0-无广告",
Tag_Group string comment "标签集",
Update_Tm string comment "更新时间YYYYMMDD HH:MM:SS",
AI_Tag_Group string comment "",
AI_Update_Tm string comment "2000-01-01 00:00:00.000")   
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'   
WITH SERDEPROPERTIES ("hbase.columns.mapping" =":key,info1:News_Id,info1:News_Title,info1:News_Dt,
info1:Website_Id,info1:Keywords,info1:URL,info1:Abstract,info1:Author,info1:Image_URL1,
info1:Image_URL2,info1:Image_URL3,info1:Image_URL4,info1:Original_Flag,info1:Original_Declare_Flag,
info1:Auth_Flag,info1:Ad_Flag,info1:Tag_Group,info1:Update_Tm,info1:AI_Tag_Group,info1:AI_Update_Tm")  
TBLPROPERTIES("hbase.table.name" = "v_news_227_info"); 

注释中不要使用逗号,Hue的中查询Impala出现中文乱码现象。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值