Hive与HBase连接

1、因为Hive与HBase要交互那么Hive需要持有HBase的一些jar包

先配置临时环境变量

export HBASE_HOME=/opt/module/hbase
export HIVE_HOME=/opt/module/hive

 将Hive需要的HBase依赖以软链接的方式拷贝到Hive的lib目录下

ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase�server-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it-1.3.1.jar
ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark可以通过JDBC连接连接MySQL、HiveHBase连接MySQL: 1. 首先需要下载MySQL的JDBC驱动程序,并将其添加到Spark的classpath中。 2. 然后可以使用以下代码连接MySQL: ``` val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:mysql://localhost:3306/mydatabase") .option("dbtable", "mytable") .option("user", "myusername") .option("password", "mypassword") .load() ``` 其中,url指定了MySQL的连接地址,dbtable指定了要读取的表名,user和password指定了登录MySQL的用户名和密码。 连接Hive: 1. 首先需要在Spark的classpath中添加Hive的JDBC驱动程序。 2. 然后可以使用以下代码连接Hive: ``` val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:hive2://localhost:10000/default") .option("dbtable", "mytable") .option("user", "myusername") .option("password", "mypassword") .load() ``` 其中,url指定了Hive连接地址,dbtable指定了要读取的表名,user和password指定了登录Hive的用户名和密码。 连接HBase: 1. 首先需要在Spark的classpath中添加HBase的JDBC驱动程序。 2. 然后可以使用以下代码连接HBase: ``` val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:phoenix:localhost:2181:/hbase") .option("dbtable", "mytable") .option("user", "myusername") .option("password", "mypassword") .load() ``` 其中,url指定了HBase连接地址,dbtable指定了要读取的表名,user和password指定了登录HBase的用户名和密码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值