hive mapred.job.tracker设置

原创 2013年12月01日 23:29:01

在cdh-hive0.10中建rcfile存储格式的表,发现hive启动了一个local hadoop来进行格式转换,也就是用一个单机版的mapreduce来做。奇慢无比。

解决办法如下:

进入hive cli之后,执行:

hive> SET mapred.job.tracker=impala11:8021

其中impala11:8021是hadoop jobtracker的主机名和端口。

这是在hive的运行时环境中设置的,退出hive客户端就失效了。

参考:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-Runtimeconfiguration

hive 配置参数说明

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exe...
  • chaoping315
  • chaoping315
  • 2013年01月14日 11:53
  • 30525

Hive性能调校

1.      设置hive.map.aggr=true,提高HiveQL聚合的执行性能。 这个设置可以将顶层的聚合操作放在Map阶段执行,从而减轻清洗阶段数据传输和Reduce阶段的执行时间,提升...
  • wisgood
  • wisgood
  • 2013年12月16日 17:34
  • 4243

【Mapred】jobtracker & tasktracker架构作业是怎么提交的

Streaming那一套就先不管了,提交作业部分的代码肯定是一样的,只不过客户端提交的方式不一样。 很多人都从wordCount看起,看吧,我擦。 Configuration conf = new C...
  • tracymkgld
  • tracymkgld
  • 2013年12月26日 12:03
  • 1228

Hadoop1.2.1源码解析系列:JobTracker(一)——JobTracker初始化

JobTracker是hadoop的mapreduce框架中最重要的一个类,这个类负责整个集群的作业控制和资源管理,所以深入了解它是很有必要的。本文从main方法着手对JobTracker的启动进行了...
  • hqshaozhu
  • hqshaozhu
  • 2013年11月24日 23:52
  • 2657

hadoop生态系统默认端口集合

1 HDFS服务中,默认端口集合:  1. HDFS 端口 Service Servers Default Ports Used Protocol Description Need End ...
  • GreatElite
  • GreatElite
  • 2014年04月28日 16:40
  • 1751

hive中控制map和reduce数量的简单实现方法

通过mapred.max.split.size等参数控制hive中的map个数进行资源控制
  • zhong_han_jun
  • zhong_han_jun
  • 2016年03月06日 17:17
  • 9295

Hadoop集群安装 (5) 配置job queue_conf/mapred-queues.xml

0.总体 (0)job queue的设置和scheduler密切相关 1) scheduler的配置见 conf/mapred-site.xml中的mapreduce....
  • amaowolf
  • amaowolf
  • 2012年01月09日 20:51
  • 3552

hadoop mapred(hive)执行目录 文件权限问题

看到一篇文章,觉得非常有用,转载一下,以后可能用得着,下面是原文的地址。 http://blog.csdn.net/azhao_dn/article/details/6921398 在配置其他...
  • xuzhengzheng32
  • xuzhengzheng32
  • 2015年07月23日 14:22
  • 690

hive.ql.exec.DDLTask. MetaException(message:java.io.IOException: Attempt to start meta tracker faile

hive> CREATE TABLE hbase_table_1(key int, value string) > STORED BY 'org.apache.hadoop.hive.hba...
  • wind520
  • wind520
  • 2014年10月08日 13:30
  • 4098

hive参数hive.mapred.mode分析

Hive配置中有个参数hive.mapred.mode,分为nonstrict,strict,默认是nonstrict 如果设置为strict,会对三种情况的语句在compile环节做过滤: ...
  • CNHK1225
  • CNHK1225
  • 2016年08月18日 12:49
  • 275
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hive mapred.job.tracker设置
举报原因:
原因补充:

(最多只允许输入30个字)