仙道Bob的专栏

hive 数组 json 列转行

hash取模

问题hdfs分区路径已经存在，但是hive表中查不出来，元数据缺失导致的解决：MSCK REPAIR TABLE tablename

待写....参考:https://blog.csdn.net/supperman_009/article/details/77508354

元数据是基础，这篇文章值得一读。本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。1、存储Hive版本的元数据表(VERSION)该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1

执行hive语句之前，添加参数:sethive.exec.stagingdir=/tmp/hive;hive做增量合并的时候，到moving就卡住，而且卡很长时间。如图：参考如下说明：原文链接：https://blog.csdn.net/houzhizhen/article/details/52411579事件：　执行一个HIVE查询，在执行到 hive 的 moving d...

Hive的优化分为join相关的优化和join无关的优化，实际运用来看，join相关的优化占了很大的比重，而join相关的优化又分为mapjoin可以解决的join优化和mapjoin无法解决的join优化。1 数据倾斜倾斜来自统计学里的偏态分布。简单来说，就是数据的key分布严重不均匀，造成一部分数据特别多，一部分很少的局面。2 Hive优化2.1 一般性优化2...

hive函数大全:https://www.cnblogs.com/MOBIN/p/5618747.html1.查看表结构show create table tablename;2.查看视图show create view viewname;3.查看分区show partitions tablename;4.提取json内容get_json_object(json_data,...

sqoop import --connect 'jdbc:postgresql://127.0.0.1:1234/sssss' \--username aaaaa \--password '1111111' \--table act_task_comment --delete-target-dir --target-dir /dragonball/dragonball/act_task_c...

hdfsdfs-ls路径 （查看）hdfsdfs-get文件路径（获取路径下的文件到本地）gzip-d文件名（解压缩文件）catfile1,file2>文件名（有多个文件时合并文件）create table test1 like test （hive复制表结构）hdfs dfs -cp/user/hive/dragonball/test1.db/test...

HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转换成MapReduce job。使用EXPLAIN可以帮助我们学习Hive是如何将查询转换成MapReduce任务的。在查询语句前面加上explain关键字，可以看到查询计划和其它一些信息。这个查询本身是不会执行的。一个Hive任务会包含一个或者多个stage（阶段），不同的stage会存在依赖关系。越复杂的查询会引入...

hive工作中用到的一些拼接函数1. concat(string s1, string s2, string s3)这个函数能够把字符串类型的数据连接起来，连接的某个元素可以是列值。如 concat( aa, ':', bb) 就相当于把aa列和bb列用冒号连接起来了，aa:bb。2. cast用法：cast(value as type)功能：将某个列的值显示的转化为某个类型例...

hive时间函数返回类型 函数名 解释 实例 bigint unix_timestamp() 获取当前时间时间戳 hive> select unix_timestamp() from dual; 1539691341 bigint unix_timestamp(string date) 将格式为“yyyy-MM-dd HH:m...

1.添加字段:alter table tablename add columns(column1 type,column2 type...)alter table userinfo add columns (name string);alter table userinfo add columns (name string comment '姓名');2.更新字段类型 3.删除...

hive优化之------控制hive任务中的map数和reduce数：原文链接http://www.cnblogs.com/MengYan-LongYou/p/3363494.htmlhive大数据倾斜总结：原文链接http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html ...

返回类型 函数名 说明 实例 double round(double a) 四舍五入 hive> select round(3.4); 3.0 hive> select round(3.6); 4.0 double round(double a,int b) 指定精度四舍五入 hive> se...

记录几个大神写的，方便学习1.(转) 零基础学习hadoop到上手工作线路指导（初级篇）2.(转)  零基础学习hadoop到上手工作线路指导初级篇：hive及mapreduce这篇把mapreduce讲的比较通俗3. ...

本文转自：【Orcale】分析函数 OVER(PARTITION BY... ORDER BY...)的讲解项目中用到分组排序，求和之类的，这位小哥写的很详细，记录一下算当期之后剩余的本金利息和select rid||'',lid,indexs,should_capital,fact_capital,should_interest,fact_interest,sum(should_...