![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 92
jim8973
这个作者很懒,什么都没留下…
展开
-
Windows加载Hive源码,并且查询结果输出在控制台
编译源码下载Hive源码:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2-src.tar.gz编译Hive源码(切记不要idea里面执行命令):mvn clean package -DskipTests=true -Phadoop-2mvn clean package -DskipTests=true -Phadoo...原创 2020-04-14 08:01:48 · 421 阅读 · 0 评论 -
Hive文件存储格式和数据压缩
存储格式行存储和列存储行存储可以理解为一条记录存储一行,通过条件查询一整行数据列存储,以字段聚集存储,可以理解为相同的字段存储在一起Hive文件存储格式1、 TEXTFILEHive数据表的默认格式,存储方式:行存储可以使用Gzip压缩算法在反序列化过程中,必须逐个字符判断是不是分隔符和行结束符,因此反序列化开销会比SequenceFile高几十倍2、SEQUENCEFIL...原创 2020-04-11 18:45:14 · 436 阅读 · 1 评论 -
Hive基本调优
Reduce阶段优化调整方式:– set hive.exec.reducers.bytes.per.reducer每个reduce能够处理的数据量大小,默认是256M– set hive.exec.reducers.max最大可以开启的reduce个数,默认是999个在只配了hive.exec.reducers.bytes.per.reducer以及hive.exec.reducers...原创 2020-03-15 18:24:04 · 928 阅读 · 0 评论 -
Hive窗口函数
hive:官网地址https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics窗口函数: domain就是一个窗口(window),在窗口的基础上做统计分析(sum,avg,rank…)窗口函数对其作用的窗口的每一条记录输出一条结果,借助于over()函数进行开窗...原创 2020-02-23 19:59:12 · 166 阅读 · 0 评论 -
Hive自定义UDF
自定义类继承UDFpackage com.ruozedata.bigdata.hadoop.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class RuozedataUDF extends UDF{ public String evaluate(){ return new String("老...原创 2020-02-07 11:24:05 · 142 阅读 · 0 评论 -
DBeaver连接hive中文注释乱码
MySQL服务停⽌止,新增字符集到my.cnf,启动MySQLsu - mysqladminservice mysql stopvi /etc/my.cnf#在[mysqld]后添加以下内容:init_connect='SET collation_connection = utf8_unicode_ci'init_connect='SET NAMES utf8'character...原创 2020-01-08 14:59:23 · 3336 阅读 · 1 评论 -
Hive复杂的查询和排序解释
启动HiveServer2HiveServer2即HS2:Hive的服务端,端口默认是10000,如果想改端口设置该参数hive.server2.thrift.port;启动服务端hiveserver2,启动客户端beeline建议先cd $HIVE_HOME/bin中去:./beeline -u jdbc:hive2://ruozedata001:10000/ruozedata_hive -n...原创 2019-12-26 22:55:45 · 271 阅读 · 0 评论 -
Hive部署和创建查询删除命令
Hive介绍Hive是Facebook开源,用于解决海量结构化的日志数据统计问题;Hive是构建在Hadoop(HDFS/MapReduce/YARN)之上的数据仓库;Hive的数据是存放在HDFS上面的,分为数据和元数据,底层的执行引擎可以是:MapReduce/Tez/Spark,只需要通过一个参数就能够切换底层的执行引擎;Hive的作业是提交到YARN上运行的。Hive的优缺点优点:...原创 2019-12-25 13:37:20 · 630 阅读 · 0 评论