![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 51
Franksten
这个作者很懒,什么都没留下…
展开
-
hive创建自定义函数
由于关系型数据库中的函数在Hive中不能完全支撑,所以当项目需要关系型制定的函数时,我们可以通过编写Java来编写自定义函数.编写一个 1、示例: (1)必须导入两个jar包: 如下图中绿色方框中的jar包,在网上可下载到 (2)创建类必须继承UDF类 (3)类必须重写evaluate方法 方法可以重载,根据自己的需求编写自己的方法 (4)写好之后测试无误,打包原创 2017-11-16 22:36:04 · 3178 阅读 · 1 评论 -
hive参数配置及说明
hive参数配置及说明 #分类 Hive.exec.mode.local.auto #决定 hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) 默认值:true hive.exec.mode.local.auto.inputbytes.max # 如果 hive.exec.mode.local.auto翻译 2017-11-16 22:55:00 · 1952 阅读 · 0 评论 -
自己设置mapreduce程序的map个数和reduce个数
设置reduce个数(一个reduce生成一个文件) 1、如果不指定reduce个数,hive会基于一下两个参数自动计算 (1)hive.exec.reducers.bytes.per.reducer 这是每个reduce处理的数据量,默认为1G=1000000000 (2)hive.exec.reducers.max(每个任务的最翻译 2017-12-21 11:49:04 · 7150 阅读 · 0 评论