![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
shell
small.Lei
这个作者很懒,什么都没留下…
展开
-
sqoop的原生抽取方式与HCatalog抽取的区别
两者的区别:文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFileHCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖字段匹配,sqoop原生是顺序匹配mysql和hive字段HCatalog通过字段名字进行匹配,更容易读,不容易出错...原创 2023-02-06 19:08:33 · 247 阅读 · 0 评论 -
notepad++ 利用正则表达式实现插入功能 也就是替换自己
工作中会遇到正则表达式,大部分都是利用正则表达式查找出固定的词然后替换。但是有一下场景,查找出来的词,不能被其他词替换,要引用正则数据。1.准备数据。查找在英文和中文之间插入一个Tab,也就是’\t’,经过试验得知,识别中文部分字段的正则表达为[^\x00-\xff](.*)Table,view or cluster name表,视图或群集名称 Column name列名 Datatype of the column数据类型的列 Datatype modifier of the column数据类原创 2021-06-11 15:05:19 · 771 阅读 · 0 评论 -
insert overwrite table 后面为什么不能用select *,怎么解决这个bug
问题:两个同样的表结构的表,如果使用insert overwrite table select *会出现以下错误。hive> insert overwrite table dwd.t_change partition (dt='2021-06-10') > select * > from ods.t_change;FAILED: SemanticException [Error 10044]: Line 1:27 Cannot insert i原创 2021-06-10 14:40:43 · 5194 阅读 · 0 评论 -
shell脚本提取hive的表字段
工作中需要在脚本提取hive的表字段,可以通过以下语句提取。使用空格间隔开,可以再通过数组进行过滤使用。多个表可以通过TABLE_NAME[ ]数组进行循环使用TABLE_SCHEMA_STR=`hive -e "desc ods.${TABLE_NAME}" | awk -F '\t' '{print $1," "}' | cat | xargs echo |awk -F 'dt' '{print $1}'| awk '{gsub(/^\s+|\s+$/, "");print}' `...原创 2021-06-03 15:06:58 · 1570 阅读 · 0 评论 -
使用shell脚本把hive的表结构自动生成
工作中遇到需要表结构但是公司人员更新迭代,早就找不到创表语句,怎么办呢?通过一下脚本可以实现自动生成创表语句,可以自动把一个库下的所有表或者指定的几个表导出来。参数说明:参数1:库名,参数2-参数n:表名。例如:./test.sh ods table_name1 table_name2 table_name3。如果table_name不写,默认库下所有的表"。脚本是作者花了几个小时调试出来的,如果有需要可以关注一下作者,也是对本人的一种肯定,谢谢!#!/bin/bashDATABASE=$1a原创 2021-06-03 14:43:34 · 557 阅读 · 0 评论