![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
Hive的原理架构、基本操作、问题收集
Felix不会飞
凡事预则立,不预则废
展开
-
Hive行转列、列转行的实现方式
1.行转列的实现方式原始数据:data title uv2019-01-01 docter 1002019-01-01 nurse 992019-01-02 nurse 1992019-01-02 docter 200期待结果:data docter nurse2019-01-01 100 992019-01-02 200 199实现方式(注意collect_set可以对数据去重、collect_list不去重):selectda...原创 2021-07-20 15:19:49 · 213 阅读 · 0 评论 -
Hive的存储和压缩问题
#hive中开启压缩模式set hive.exec.compress.output=true; set mapred.output.compress=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;优秀回答链接:关于存储格式:https://blog.csdn.net/wyz0516071128/article/details/80892487关于压缩格式:h..原创 2021-07-20 15:15:46 · 72 阅读 · 0 评论 -
Hive分桶抽样查询(tablesample)详解
名词解释:n:总桶数x:从第几个桶开始抽取y:必须是总桶数的因数或倍数(自定义)z:共需抽取出的桶数(z=n/y)抽样查询代码示例:hive (default)> select * from student tablesample(bucket x out of y on id);案例分析:总桶数为n=10个,人为设定抽样因子y=2,人为设定从第一个桶开始取则x=1;计算出z=n/y=10/2=5个,则可以确定本次抽样查询需要取出5个桶的数据;代码实现如下:hi原创 2021-07-20 15:14:03 · 3002 阅读 · 0 评论 -
2021-07-20
快速解决方法目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候,字段的中文注释会出现乱码情况,如(????)。在使用 ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' 建表的时候,注释则会出现from deserializer。以下几个步骤可以帮你快速解决这些问题:问题表现:解决办法:1.首先在hive客户端的conf目录下找到hive-site.xml配置文件,查询本机hi原创 2021-07-20 15:11:38 · 147 阅读 · 0 评论 -
关于hive组合分隔符建表导致的问题
关于hive组合分隔符建表导致的问题反馈:1.hive配置调整后,重启,指定组合分隔符时,hive可正常建表,可正常操作数据(包括分组查询,数据复制)2.spark-shell或spark-submit涉及到用spark.sql获取hive数据时,仍会出现异常,经过验证,启动spark环境时,同时添加以下2个参数可解决:(1)--conf spark.sql.hive.metastore.barrierPrefixes=org.apache.hadoop.hive.contrib.serde2.原创 2021-07-20 15:08:21 · 227 阅读 · 0 评论