hive
文章平均质量分 79
唐-coffee
这个作者很懒,什么都没留下…
展开
-
Hive修改表名,列名,列注释,表注释,增加列,调整列顺序,属性名等操作
Alter Table 语句Hive修改表名,列名,列注释,表注释,增加列,调整列顺序,属性名等操作它是在Hive中用来修改的表。语法声明接受任意属性,我们希望在一个表中修改以下语法。 ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ......转载 2018-12-13 21:41:34 · 833 阅读 · 0 评论 -
Hive Lateral View 和 explod
1、初理解Lateral Viewhttps://blog.csdn.net/zz657114506/article/details/539006572、复杂多重应用Lateral View 和 explodhttps://blog.csdn.net/guodong2k/article/details/79459282原创 2019-05-21 15:50:02 · 143 阅读 · 0 评论 -
hive编写udtf
之前说过HIVE,UDF(User-Defined-Function)函数的编写和使用,现在来看看UDTF的编写和使用。1. UDTF介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。2. 编写自己需要的UDTF继承org.apache.hadoop.hive.q...原创 2019-05-21 15:44:10 · 143 阅读 · 0 评论 -
HIVE异常解决
1、小表的解决:?报错信息FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask解决:set hive.auto.convert.join = false;资料: https://yq.aliyun.com/articles/64306 ...原创 2019-03-12 20:13:41 · 294 阅读 · 0 评论 -
HIVE External&TBLPROPERTIES
HIVE External&TBLPROPERTIES1.Externalhive中有两种表:外部表和内部表(managed and external)。可以通过desc formatted table_name 命令来查看表的信息,来辨别表是外部表还是内部表。内部表的文件,元数据和统计信息等由hive进行管理,被存储在hive.metastore.warehouse.dir 目录...原创 2019-03-12 10:47:55 · 1202 阅读 · 0 评论 -
[Hive08]从Hive中的stored as file_foramt看Hive调优
一、行式存储与列式存储行式数据库 对比 列式数据库行式数据库存储在hdfs上式按行进行存储的,一个block存储一或多行数据。而列式数据库在hdfs上则是按照列进行存储,一个block可能有一列或多列数据。如果要将数据进行压缩:对于行式数据库,必然按行压缩,当一行中有多个字段,各个字段对应的数据类型可能不一致,压缩性能压缩比就比较差。对于列式数据库,必然按列压缩,每一列对应...原创 2019-03-11 15:27:56 · 1068 阅读 · 0 评论 -
hive函数小结
替换函数: 把某某某 比如 “ + a 都替换成空格可以使用以下两个函数:str_to_map(regexp_replace(params,'[\"|\{|\}]',''),'&',':') as params,select TRANSLATE(rcolumn, 'a"{}', 'a') from etl_train where dt='2019-02-02' li...原创 2019-03-14 21:01:28 · 197 阅读 · 0 评论 -
hive函数str_to_map
str_to_map(字符串参数, 分隔符1, 分隔符2)使用两个分隔符将文本拆分为键值对。分隔符1将文本分成K-V对,分隔符2分割每个K-V对。对于分隔符1默认分隔符是',',对于分隔符2默认分隔符是'='。例子:1. 创建map字段 1 2 3 4 5 6 DROPTABLEIF EXISTS...原创 2019-03-14 20:58:12 · 9412 阅读 · 0 评论 -
hive修改列名(原)
CREATE TABLE `detail_flow_test`( `union_id` string COMMENT '设备唯一标识' ) COMMENT '站边表' PARTITIONED BY ( `partition_date` string )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TE...原创 2018-12-13 21:42:20 · 10107 阅读 · 0 评论 -
hive-列转行和行转列
http://blog.csdn.net/jthink_/article/details/388535731. 假设我们在hive中有两张表,其中一张表是存用户基本信息,另一张表是存用户的地址信息等,表数据假设如下:user_basic_info:id name 1 a 2 b 3 c 4 d user_address;...原创 2019-05-23 22:18:13 · 78 阅读 · 0 评论