自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 收藏
  • 关注

原创 DBeaver打开sql文件中文乱码问题解决

DBeaver打开sql文件中文乱码问题解决

2023-02-23 11:27:00 942

原创 sqoop的原生抽取方式与HCatalog抽取的区别

两者的区别:文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFileHCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖字段匹配,sqoop原生是顺序匹配mysql和hive字段HCatalog通过字段名字进行匹配,更容易读,不容易出错...

2023-02-06 19:08:33 243

原创 查看hive的jar包

查看hive的jar包

2022-11-10 15:00:22 859

原创 在oracle数据库、postgres数据库实现循环生成日历表

在oracle数据库、postgres数据库实现循环生成日历表

2022-05-31 13:53:20 565

原创 hana数据库通过sqoop实现hdfs/hive表数据迁移

demo(要先在hive建表)导入hive表 sqoop import \ -Dhadoop.security.credential.provider.path=jceks://hdfs/user/password/hanadb_password.jceks \ --connect "jdbc:sap://10.1.88.88:30088/" \ --driver com.sap.db.jdbc.Driver \ --username root\ --passw

2021-11-24 11:20:52 2142

转载 Hive常见问题 unable to create manager for [/var/log/hive/operation_logs/

内存溢出虚拟内存溢出:Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.==【即虚拟内存溢出】==;方法一:提高yarn.nodemanager.vmem-pmem-ratio = 5或者更高;【推荐】方法二:yarn.nodemanager.vmem-check-enabled =false ;关闭虚拟内存检查;不推荐方法三:提高.

2021-07-22 14:35:56 1850

转载 ORACLE怎样将CHAR类型字段转换成CLOB

本文转载来自:http://www.dbdream.com.cn/2015/05/oracle%E6%80%8E%E6%A0%B7%E5%B0%86char%E7%B1%BB%E5%9E%8B%E5%AD%97%E6%AE%B5%E8%BD%AC%E6%8D%A2%E6%88%90clob/,通过两方面演示怎么将ORACLE数据库中的CHAR类型的字段转换成CLOB类型的字段,一种情况是空列,另一种情况是列中已有数据。测试表结构如下:1 SQL> desc sdb_b2c_goods2 Name

2021-06-17 14:16:44 1794

转载 Oracle行数据扩展方法总结

看到一篇文章是关于oracle sql 扩容的,挺有意思的,引用过来,并进行进行图解。本文来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/12932950/viewspace-717314/有如下需求:A用户有1笔交易B用户有3笔交易C用户有2笔交易数据如下:A 1B 3C 2现要求将该表数据扩展,变成:A 1B 3B 3B 3C 2C 2这是一个常见的数据需求,在分析或业务展现中应用比较多。实现的方法有以下几种(以下命名

2021-06-16 11:38:59 363

原创 notepad++ 利用正则表达式实现插入功能 也就是替换自己

工作中会遇到正则表达式,大部分都是利用正则表达式查找出固定的词然后替换。但是有一下场景,查找出来的词,不能被其他词替换,要引用正则数据。1.准备数据。查找在英文和中文之间插入一个Tab,也就是’\t’,经过试验得知,识别中文部分字段的正则表达为[^\x00-\xff](.*)Table,view or cluster name表,视图或群集名称 Column name列名 Datatype of the column数据类型的列 Datatype modifier of the column数据类

2021-06-11 15:05:19 764

原创 oracle库中选择性把表生成hive创表脚本

公司要搭建数据仓库,把oracle的数据导出到hive,首先要生成创表语句参考了https://blog.csdn.net/ZhouyuanLinli/article/details/100096647这篇文章,对代码增加了功能,可以选择性把表生成创表语句。select to_char(substr(table_prefix || col_strs || table_subfix, 1, 4000)) confrom ( select n.table_prefix, wm

2021-06-10 21:05:48 260 2

原创 insert overwrite table 后面为什么不能用select *,怎么解决这个bug

问题:两个同样的表结构的表,如果使用insert overwrite table select *会出现以下错误。hive> insert overwrite table dwd.t_change partition (dt='2021-06-10') > select * > from ods.t_change;FAILED: SemanticException [Error 10044]: Line 1:27 Cannot insert i

2021-06-10 14:40:43 5182

原创 shell脚本提取hive的表字段

工作中需要在脚本提取hive的表字段,可以通过以下语句提取。使用空格间隔开,可以再通过数组进行过滤使用。多个表可以通过TABLE_NAME[ ]数组进行循环使用TABLE_SCHEMA_STR=`hive -e "desc ods.${TABLE_NAME}" | awk -F '\t' '{print $1," "}' | cat | xargs echo |awk -F 'dt' '{print $1}'| awk '{gsub(/^\s+|\s+$/, "");print}' `...

2021-06-03 15:06:58 1557

原创 使用shell脚本把hive的表结构自动生成

工作中遇到需要表结构但是公司人员更新迭代,早就找不到创表语句,怎么办呢?通过一下脚本可以实现自动生成创表语句,可以自动把一个库下的所有表或者指定的几个表导出来。参数说明:参数1:库名,参数2-参数n:表名。例如:./test.sh ods table_name1 table_name2 table_name3。如果table_name不写,默认库下所有的表"。脚本是作者花了几个小时调试出来的,如果有需要可以关注一下作者,也是对本人的一种肯定,谢谢!#!/bin/bashDATABASE=$1a

2021-06-03 14:43:34 555

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除