u013039401的博客

两者的区别:文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFileHCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖字段匹配,sqoop原生是顺序匹配mysql和hive字段HCatalog通过字段名字进行匹配,更容易读,不容易出错...

看到一篇文章是关于oracle sql 扩容的，挺有意思的，引用过来，并进行进行图解。本文来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/12932950/viewspace-717314/有如下需求：A用户有1笔交易B用户有3笔交易C用户有2笔交易数据如下：A 1B 3C 2现要求将该表数据扩展，变成：A 1B 3B 3B 3C 2C 2这是一个常见的数据需求，在分析或业务展现中应用比较多。实现的方法有以下几种（以下命名

工作中会遇到正则表达式，大部分都是利用正则表达式查找出固定的词然后替换。但是有一下场景，查找出来的词，不能被其他词替换，要引用正则数据。1.准备数据。查找在英文和中文之间插入一个Tab，也就是’\t’,经过试验得知，识别中文部分字段的正则表达为[^\x00-\xff](.*)Table,view or cluster name表，视图或群集名称 Column name列名 Datatype of the column数据类型的列 Datatype modifier of the column数据类

公司要搭建数据仓库，把oracle的数据导出到hive，首先要生成创表语句参考了https://blog.csdn.net/ZhouyuanLinli/article/details/100096647这篇文章，对代码增加了功能，可以选择性把表生成创表语句。select to_char(substr(table_prefix || col_strs || table_subfix, 1, 4000)) confrom ( select n.table_prefix, wm

问题：两个同样的表结构的表，如果使用insert overwrite table select *会出现以下错误。hive> insert overwrite table dwd.t_change partition (dt='2021-06-10') > select * > from ods.t_change;FAILED: SemanticException [Error 10044]: Line 1:27 Cannot insert i

工作中需要在脚本提取hive的表字段，可以通过以下语句提取。使用空格间隔开，可以再通过数组进行过滤使用。多个表可以通过TABLE_NAME[ ]数组进行循环使用TABLE_SCHEMA_STR=`hive -e "desc ods.${TABLE_NAME}" | awk -F '\t' '{print $1," "}' | cat | xargs echo |awk -F 'dt' '{print $1}'| awk '{gsub(/^\s+|\s+$/, "");print}' `...

工作中遇到需要表结构但是公司人员更新迭代，早就找不到创表语句，怎么办呢？通过一下脚本可以实现自动生成创表语句，可以自动把一个库下的所有表或者指定的几个表导出来。参数说明：参数1:库名，参数2-参数n：表名。例如：./test.sh ods table_name1 table_name2 table_name3。如果table_name不写，默认库下所有的表"。脚本是作者花了几个小时调试出来的，如果有需要可以关注一下作者，也是对本人的一种肯定，谢谢！#!/bin/bashDATABASE=$1a