php通过thrift开发hive

在安装好hadoop,hive并且以mysql作为hive的元数据库配置完成的前提下1.下载thrift(apache thrift官网)2.解压:tar -zxvf 压缩包名3.安装依赖库:libevent和libevent-devel4.在thrift路径下执行:./configure【具体见./configure --help】;然后make & make install
摘要由CSDN通过智能技术生成

概述:

由于hadoop和hive都是用java写的,要使用像php这样的脚本语言(实际上thrift支持的语言还有很多,大部分主流语言都包括)对hive进行开发就需要一个跨语言的连接桥梁,到目前为止,我所知道的有两种方法可以实现:

1.后面将具体说明的Thrift

Thrift是Facebook的一个开源项目,同时也是hadoop和hive官网上提到一种中间件,本次开发就是使用Thrift

2.php java bridge(这个没有用过,不太了解)

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

下面主要总结一些thrift相关的东西

安装:

在安装好hadoop,hive并且以mysql作为hive的元数据库配置完成的前提下

1.下载thrift(apache thrift官网)

2.解压:tar -zxvf 压缩包名

3.安装依赖库:libevent和libevent-devel

4.在thrift路径下执行:./configure【具体见./configure --help】;然后make & make install

具体说明可以查看官网信息ÿ

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是连接Hive的Java代码: ``` import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.security.UserGroupInformation; import org.apache.thrift.TException; import org.apache.thrift.protocol.TBinaryProtocol; import org.apache.thrift.transport.TSocket; import org.apache.thrift.transport.TTransport; import org.apache.thrift.transport.TTransportException; import org.apache.hadoop.hive.metastore.api.*; public class HiveClient { private static String host = "localhost"; private static int port = 9083; public static void main(String[] args) throws TException { // Set Hadoop configuration Configuration conf = new Configuration(); conf.set("hadoop.security.authentication", "Kerberos"); // Set Kerberos security System.setProperty("java.security.krb5.realm", "EXAMPLE.COM"); System.setProperty("java.security.krb5.kdc", "kdc.example.com"); UserGroupInformation.setConfiguration(conf); UserGroupInformation.loginUserFromKeytab("user@EXAMPLE.COM", "/path/to/user.keytab"); // Connect to Hive Metastore service TTransport transport = new TSocket(host, port); transport.open(); TBinaryProtocol protocol = new TBinaryProtocol(transport); ThriftHiveMetastore.Client client = new ThriftHiveMetastore.Client(protocol); // Get list of databases List<String> databases = client.get_all_databases(); for (String database : databases) { System.out.println(database); } // Close connection transport.close(); } } ``` 需要注意的是,代码中涉及到了Kerberos认证和安全配置,需要根据实际情况进行调整。同时,需要根据实际的Hive Metastore服务地址和端口进行设置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值