Hive常见属性配置--数据仓库位置、hive.cli查询后信息显示、运行日志信息、参数配置的方式

1、hive数据仓库位置配置

① Default 数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse 路径下。

② 在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,则直接在数据仓库目录下创建一个文件夹。新建数据库(表)默认的目录也在/user/hive/warehouse路径下。

③ 修改default数据仓库原始位置(将apps/apache-hive-2.3.4-bin/conf/下的hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中)。(基本不改)

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
</property>

     配置同组用户有执行权限(一般情况也不需要)

hadoop fs -chmod -R g+w /user/hive/warehouse

2、hive.cli查询后信息显示 配置

在apps/apache-hive-2.3.4-bin/conf/下的hive-site.xml文件中添加如下配置信息,实现显示当前数据库,及查询表的头信息配置。重新启动hive即可。

 <property>
   <name>hive.cli.print.header</name>
   <value>true</value>
 </property> 
 <property>
   <name>hive.cli.print.current.db</name>
   <value>true</value>
 </property>

3、hive运行日志信息配置

① Hive的log默认存放在/tmp/hdp/hive.log目录下(当前用户名下)
② 修改hive的log 存放日志到/home/hdp/apps/apache-hive-2.3.4-bin/logs (本人的暂时未作更改)
---- 修改/home/hdp/apps/apache-hive-2.3.4-bin/conf/hive-log4j2.properties.template文件名称为hive-log4j2.properties
---- [hdp@hdp02 conf]$ mv hive-log4j2.properties.template hive-log4j2.properties
---- 在hive-log4j2.properties文件中修改1og存放位置。修改:property.hive.log.dir = /home/hdp/apps/apache-hive-2.3.4-bin/logs

4、参数配置的方式

① 查看当前所有的配置信息: hive>  set;

② 参数配置的三种方式

---- 配置文件方式:

  • 默认配置文件:hive-default.xml
  • 用户自定义配置文件:hive-site.xml
  • 注意:用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。

---- 命令行参数方式:

  • 启动Hive时,可以在命令行添加 -hiveconf param=value来设定参数。
  • 例如:
  • [hdp@hdp02 conf]$ hive -hiveconf mapred.reduce.tasks=10; //注意:仅对本次hive启动有效。
  • hive(default)> set mapred.reduce.tasks;  //查看参数设置。

---- 启动后临时修改

  • hive(default)> set mapred.reduce.tasks = 20; //在启动后修改,仅对本次hive启动有效。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive --service hiveserver2 --hiveconf hive.server2.thrift.port=21066 是一个用于启动HiveServer2服务并将Thrift端口设置为21066的命令。 Hive是一个基于Hadoop的数据仓库工具,用于处理和分析大规模的数据集。HiveServer2是Hive的服务器模式,允许用户通过Thrift接口与Hive交互。通过运行上述命令,我们可以启动HiveServer2服务并将Thrift端口设置为21066,这样客户端就可以连接到HiveServer2并执行查询和操作。 启动HiveServer2服务可以让用户通过网络连接到Hive,并通过执行SQL语句查询和操作存储在Hive中的数据。在启动服务时,我们可以通过--hiveconf参数设置一些Hive配置属性。在上述命令中,通过指定hive.server2.thrift.port属性为21066,我们将Thrift端口设置为21066,这样客户端就可以通过该端口与HiveServer2通信。 通过启动HiveServer2服务,我们可以在分布式环境中运行Hive,并允许多个客户端同时连接和使用Hive。这样可以提高数据处理的效率和灵活性。同时,通过Thrift接口,HiveServer2还可以与其他编程语言进行交互,例如Java、Python等,使得开发人员可以方便地使用自己熟悉的编程语言进行数据处理和分析。 总之,hive --service hiveserver2 --hiveconf hive.server2.thrift.port=21066 是一个启动HiveServer2服务并将Thrift端口设置为21066的命令,通过这个命令我们可以连接到HiveServer2并使用Hive进行数据处理和分析。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值