- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 Hive开发错误记录
一、启动Hive CLI警告:WARN [mian] conf.Configuration:file:/xxx/hive-site.xml : an attempt to override final parameter:fs.defaultFS; Ignoring; 修改了hive-site.xml,启动Hive CLI后,跑脚本发现配置没生效,后来看到警告,因为hadoop fs.def
2017-06-15 15:05:20 466
原创 Hive本地模式
一、原理本地运行map-reduce作业。这对于在小型数据集上运行查询非常有用 - 在这种情况下,本地模式的执行通常比向大型集群提交作业要快得多。从HDFS透明地访问数据。相反,本地模式只能运行一个reducer,处理较大的数据集可能非常慢。二、配置1.完全本地模式 从0.7版本开始,Hive完全支持本地模式的执行。对于所有mapreduce任务都以本地模式运行,要启用此功能,用户可以启用以下
2017-06-09 15:45:13 3287
原创 HIVE严格模式
一、启动nohup hive --service hiveserver2 --hiveconf hive.mapred.mode=strict & 二、作用严格模式,可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格 模式下无法执行。通过设置hive.mapred.mode的值为strict,可以禁止已下三种类型的查询。三、禁止查询类型1)带有分区的表的查询
2017-06-09 15:33:43 551
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人