Hive切换引擎(MR、Tez、Spark)

Hive切换引擎(MR、Tez、Spark)

1. MapReduce计算引擎(默认)

set hive.execution.engine=mr;

2. Tez引擎

set hive.execution.engine=tez;

1. Spark计算引擎

set hive.execution.engine=spark;
  • 12
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,你可以在Hive中将计算引擎修改为Spark,以便在Hive中使用Spark进行查询和处理。以下是将Hive计算引擎修改为Spark的步骤: 1. 首先,确保已经安装了HiveSpark,并且它们都在同一个集群中运行。 2. 然后,将以下属性添加到Hive的配置文件hive-site.xml中: ``` <property> <name>hive.execution.engine</name> <value>spark</value> </property> <property> <name>hive.spark.client.connect.timeout</name> <value>600</value> </property> <property> <name>hive.server2.enable.spark.execution.engine</name> <value>true</value> </property> ``` 这些属性将告诉Hive将计算引擎设置为Spark,并在HiveServer2中启用Spark计算引擎。 3. 然后,启动HiveServer2,并在Spark中启动Spark Thrift Server: ``` $ hive --service hiveserver2 & $ $SPARK_HOME/sbin/start-thriftserver.sh ``` 这将启动HiveServer2和Spark Thrift Server。 4. 然后,使用JDBC连接器连接到Spark Thrift Server,并在Hive中执行查询。你可以使用Spark SQL API执行查询: ```scala import java.sql.DriverManager import org.apache.spark.sql._ val spark = SparkSession.builder() .appName("Hive on Spark example") .config("spark.master", "local") .enableHiveSupport() .getOrCreate() val jdbcUrl = "jdbc:hive2://localhost:10000/default" val connection = DriverManager.getConnection(jdbcUrl) val statement = connection.createStatement() val query = "SELECT * FROM my_table" val result = statement.executeQuery(query) val df = spark.createDataFrame(result, schema) df.show() ``` 在代码中,我们首先使用`SparkSession.builder()`方法创建一个SparkSession对象,并启用Hive支持。然后,我们使用JDBC连接器连接到Spark Thrift Server,并使用Spark SQL API执行查询。我们将查询结果加载到DataFrame中,并使用`show()`方法显示。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值