HIve
文章平均质量分 95
AaronLwx
这个作者很懒,什么都没留下…
展开
-
细说Hive SQL触发MR的场景
背景 首先,说一下结论,Hive是否触发作业跟hive.fetch.task.conversion这个参数有关 那么我们先来看看hive.fetch.task.conversion这个参数是啥 打开hive终端 hive> set hive.fetch.task.conversion; hive.fetch.task.conversion=more 通过参阅文档,得知hive...原创 2019-05-27 17:48:08 · 4231 阅读 · 2 评论 -
Hive源码编译支持自定义UDF
package com.hivelearn.udf; import org.apache.hadoop.hive.ql.exec.UDF; import java.util.Random; public class AddPrefixUDF extends UDF { public String evaluate(String input) { Random ran...原创 2019-04-22 01:19:27 · 125 阅读 · 0 评论 -
Hive 临时和永久UDF实践
[hadoop@hadoop004 lib]$ ls g6-hadoop-1.0.jar udflearn-1.0.jar hive> > ADD JAR /home/hadoop/lib/udflearn-1.0.jar; Added [/home/hadoop/lib/udflearn-1.0.jar] to class path Added re...原创 2019-04-22 00:10:08 · 874 阅读 · 3 评论 -
元数据在MySQL中比较重要的几个表
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | ruoze_d6 | | sys ...原创 2019-04-19 14:56:52 · 376 阅读 · 0 评论 -
Hive 文件压缩格式对比
[hadoop@hadoop004 hadoop]$ vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop004:9000</value> </property> <p...原创 2019-04-19 14:51:05 · 1358 阅读 · 0 评论 -
Hive 包版本引发的血案
刚才打开自己在阿里云的一台服务器,并准备在上面测试Hive的一些功能,原以为很顺利,没想到一上来一个show databases;就报错了,如图 奇怪了,以前是没有问题的啊,为啥会出现这个错误呢? 定睛一看,十有八九是jar包冲突了,问题就是出在guava这个包里头,于是跑去hive下的lib上看一看 会不会guava的版本太高或者太低了,先试一试。 先后把guava-13.0...原创 2019-08-22 15:04:15 · 1071 阅读 · 0 评论