hive mapred.job.tracker设置

原创 2013年12月01日 23:29:01

在cdh-hive0.10中建rcfile存储格式的表,发现hive启动了一个local hadoop来进行格式转换,也就是用一个单机版的mapreduce来做。奇慢无比。

解决办法如下:

进入hive cli之后,执行:

hive> SET mapred.job.tracker=impala11:8021

其中impala11:8021是hadoop jobtracker的主机名和端口。

这是在hive的运行时环境中设置的,退出hive客户端就失效了。

参考:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-Runtimeconfiguration

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop集群安装 (5) 配置job queue_conf/mapred-queues.xml

0.总体 (0)job queue的设置和scheduler密切相关 1) scheduler的配置见 conf/mapred-site.xml中的mapreduce....

hadoop mapred(hive)执行目录 文件权限问题

看到一篇文章,觉得非常有用,转载一下,以后可能用得着,下面是原文的地址。 http://blog.csdn.net/azhao_dn/article/details/6921398 在配置其他...

hive.ql.exec.DDLTask. MetaException(message:java.io.IOException: Attempt to start meta tracker faile

hive> CREATE TABLE hbase_table_1(key int, value string) > STORED BY 'org.apache.hadoop.hive.hba...

hive参数hive.mapred.mode分析

Hive配置中有个参数hive.mapred.mode,分为nonstrict,strict,默认是nonstrict 如果设置为strict,会对三种情况的语句在compile环节做过滤: ...

hive参数hive.mapred.mode分析

Hive配置中有个参数hive.mapred.mode,分为nonstrict,strict,默认是nonstrict 如果设置为strict,会对三种情况的语句在compile环节做过滤: 1. 笛...

hive job配置和mapreduce数目控制

开启动态分区: hive.exec.dynamic.partition=true 默认值:false 描述:是否允许动态分区 hive.exec.dynamic.partition.mode=...

Hive中跑MapReduce Job出现OOM问题分析及解决

一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时,发生了OOM的异常。由于一个map通常配置只有64MB或者128MB,则在Map阶段出现OOM的情况很少见。所以一般发生在r...

Hive优化(2)之系统评估reduce数为1的MR Job优化

名词解释: 云霄飞车:hive本身对MR Job的 reduce数估算不合理,导致reduce分配过少,任务运行很慢,云霄飞车项目主要对hive本身reduce数的估算进行优化。 map_in...

自定义Hive Sql Job分析工具

前言我们都知道,在大数据领域,Hive的出现帮我降低了许多使用Hadoop书写方式的学习成本.使用用户可以使用类似Sql的语法规则写明查询语句,从hive表数据中查询目标数据.最为重要的是这些sql语...

hadoop 中hive查询表时出现无法使用mayreduce job任务 错误

hadoop中使用hive+mysql 对表进行查询时,只能全表查询,不能对查询显示部分列。希望大虾们能给出解决办法,具体如下:    1 使用 select * from student;    ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)