hive mapred.job.tracker设置

最新推荐文章于 2023-10-27 14:42:52 发布
最新推荐文章于 2023-10-27 14:42:52 发布
阅读量4k 收藏
点赞数
分类专栏： Web/数据/云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bhq2010/article/details/17062069
版权

在cdh-hive0.10中建rcfile存储格式的表，发现hive启动了一个local hadoop来进行格式转换，也就是用一个单机版的mapreduce来做。奇慢无比。

解决办法如下：

进入hive cli之后，执行：

hive> SET mapred.job.tracker=impala11:8021

其中impala11:8021是hadoop jobtracker的主机名和端口。

这是在hive的运行时环境中设置的，退出hive客户端就失效了。

参考：https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-Runtimeconfiguration

solari_bian
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive笔记.md的
05-11
hive笔记.md的
Hive学习总结
好学若饥，谦卑若愚
01-14 4万+
一、Hive的基本概念 1.1 hive是什么？ （1）Hive是建立在hadoop数据仓库基础之上的一个基础架构； （2）相当于hadoop之上的一个客户端，可以用来存储、查询和分析存储在hadoop中的数据； （3）是一种SQL解析引擎，能够将SQL转换成Map/Reduce中的Job在hadoop上执行。 1.2 hive的数据存储特点 （1）数据存储是基
Hive参数配置调优
binguo的博客
09-07 1370
hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。 确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。 保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕,可怕的是数据倾斜，每个
Hadoop、Hive安装
qq_43409973的博客
10-27 1407
hadoop hive安装
Hadoop之 - 剖析 MapReduce 作业的运行机制（MapReduce 2）
weixin_34007886的博客
11-20 242
在0.20版本及更早期的系列中，mapred.job.tracker 决定了执行MapReduce程序的方式。如果这个配置属性被设置为local(默认值)，则使用本地的作业运行器。运行器在耽搁JVM上运行整个作业。它被设计用来在小的数据集上测试和运行MapReduce程序。如果 mapred.job.tracker 被设置为用冒号分开的主机和端口对（主机：端口），那么该配置属...
Hadoop调优
sanms的专栏
09-06 600
Hadoop调优 mapred.tasktracker.map.tasks.maximum  官方解释：The maximum number of map tasks that will be run  simultaneously by a task tracker. 我的理解：一个tasktracker最多可以同时运行的map任务数量 默认值：2 优化值：mapred.t
Hadoop集群配置（最全面总结）
weixin_30748995的博客
02-06 5015
Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/c...
JobTracker内部实现机制
小朋友2滴偷偷的在写博客
08-27 1290
JobTracker是整个集群中唯一的全局管理者，设计的功能包括作业管理，状态监控，任务调度器等。 作业控制模块负责作业的分解和状态监控 状态监控（容错，任务调度） TaskTracker状态监控 作业状态监控 任务状态监控 ...
MapReduce1与Yarn(MapReduce2)
HYN205的博客
06-16 1833
    （1）在Hadoop1.x中，通过设置mapred.job.tracker来决定执行mapreduce机制，如果设置为local，则使用本地的作业运行器，如果设置为主机和端口号，则这个地址被解析为一个jobtracker地址，运行器则将作业提交给jobtracker。    它主要由以下几个组件组成：Client、JobTracker、TaskTracker、Task    (2) 在ha...
hivelib.rar
04-28
idea连接hive需要使用的jar包
hive安装.mp4
12-20
hive安装视频
大数据平台和HiveSQL.md
最新发布
04-20
40.大数据平台和HiveSQL.md40.大数据平台和HiveSQL.md40.大数据平台和HiveSQL.md40.大数据平台和HiveSQL.md40.大数据平台和HiveSQL.md40.大数据平台和HiveSQL.md40.大数据平台和HiveSQL.md40.大数据平台和HiveSQL.md...
hive-site.xml
08-25
解决安装hive后，没有hive-site.xml的问题；把这个文件复制到conf的目录下，根据自己的配置更改下里面的部分内容就可以了
eclipse jee配置jetty的两种方法
热门推荐
BHQ的技术学习
02-08 16万+
发现sina app engine(sae)和google app engine(gae)用的java servlet容器都是jetty，而不是tomcat，昨天在自己的电脑上写了一个servlet在sae上却不能用，于是在本地配了一下jetty。 1、安装和运行jetty 下载jetty的distribution压缩包之后，解压，在终端或者命令提示符中进入解压出来的jetty-distrib
Java HttpClient使用小结
BHQ的技术学习
07-01 8万+
httpclient是apache的一个项目：http://hc.apache.org/ 文档比较完善：http://hc.apache.org/httpcomponents-client-ga/tutorial/html/ 这里就不啰嗦了，主要是在做demo的时候遇到的一些问题在这里总结一下： [引用请注明出处http://blog.csdn.net/bhq2010/article/det
[impala]cloudera-scm-server dead but pid file exists问题解决
BHQ的技术学习
03-08 2万+
用impala做实验遇到了cloudera-scm-server dead but pid file exists问题。 问题发生的经过是这样的： 首先我在单机配置的为2核4GB内存的5台虚拟机上安装了cloudera manager，然后用它安装了cdh和impala 然后一切都是正常的，我就往集群的hdfs里面导入了100GB的数据 然后一切仍然是正常的，可是突然有一天，clouder
C3P0连接池使用小结
BHQ的技术学习
07-01 2万+
C3P0在最近的demo中也用了（我用的是0.9.2.1版本的。），因为单例很难应付大量并发的。 【引用请注明出处http://blog.csdn.net/bhq2010/article/details/9219947】 用法详见文档：http://www.mchange.com/projects/c3p0/ 基本的用法在http://www.mchange.com/projects/c3p
JavaCC使用小结
BHQ的技术学习
04-06 2万+
项目中用的JavaCC做查询编译，在这里小结一下，作为备忘。 JavaCC是一个很不错的词法、语法解析器的生成器，只需要编写规则就可以生成Java语言的词法、语法解析器（新版本的JavaCC还支持C/C++作为目标语言）。JavaCC相当与Yacc/Bison+Lex/Flex很类似。 [引用请注明出处：http://blog.csdn.net/bhq2010/article/details/
Hive Parquet配置
BHQ的技术学习
01-30 1万+
parquet的配置主要包括： parquet.compression.codec parquet.block.size parquet.page.size 等，详见： https://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ParquetOutputFor
hive> set hive.cli.print.header=true;set hive.cli.print.current.db=true;set hive.cli.print.row.to.vertical=true;set mapred.output.encoding=UTF-8;set mapred.input.encoding=UTF-8;set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;set hive.exec.compress.output=false;set hive.exec.compress.intermediate=false;set hive.vectorized.execution.enabled=true;set hive.vectorized.execution.reduce.enabled=true;set hive.vectorized.execution.reduce.groupby.enabled=true; Query returned non-zero code: 1, cause: hive configuration hive.cli.print.row.to.vertical does not exists. hive (default)>
06-13
抱歉，之前提供的配置有误，可能是因为不同版本的Hive配置不同。以下是一组通用的配置，可以尝试在Hive中执行： ``` set hive.cli.print.header=true; set hive.cli.print.current.db=true; set hive.cli.print.row.to.vertical=false; set mapred.output.encoding=UTF-8; set mapred.input.encoding=UTF-8; set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat; set hive.exec.compress.output=false; set hive.exec.compress.intermediate=false; set hive.vectorized.execution.enabled=true; set hive.vectorized.execution.reduce.enabled=true; set hive.groupby.skewindata=true; ``` 这组配置可以将Hive的输出编码方式设置为UTF-8，并启用一些Hive的优化方式。如果还有其他问题，请告诉我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值