- 博客(13)
- 收藏
- 关注
RSS订阅原创 sqoop的原生抽取方式与HCatalog抽取的区别
两者的区别:文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFileHCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖字段匹配,sqoop原生是顺序匹配mysql和hive字段HCatalog通过字段名字进行匹配,更容易读,不容易出错...
2023-02-06 19:08:33
250
原创 hana数据库通过sqoop实现hdfs/hive表数据迁移
demo（要先在hive建表）导入hive表 sqoop import \ -Dhadoop.security.credential.provider.path=jceks://hdfs/user/password/hanadb_password.jceks \ --connect "jdbc:sap://10.1.88.88:30088/" \ --driver com.sap.db.jdbc.Driver \ --username root\ --passw
2021-11-24 11:20:52
2155
转载 Hive常见问题 unable to create manager for [/var/log/hive/operation_logs/
内存溢出虚拟内存溢出:Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.==【即虚拟内存溢出】==；方法一：提高yarn.nodemanager.vmem-pmem-ratio = 5或者更高；【推荐】方法二：yarn.nodemanager.vmem-check-enabled =false ；关闭虚拟内存检查；不推荐方法三：提高.
2021-07-22 14:35:56
1876
转载 ORACLE怎样将CHAR类型字段转换成CLOB
本文转载来自：http://www.dbdream.com.cn/2015/05/oracle%E6%80%8E%E6%A0%B7%E5%B0%86char%E7%B1%BB%E5%9E%8B%E5%AD%97%E6%AE%B5%E8%BD%AC%E6%8D%A2%E6%88%90clob/，通过两方面演示怎么将ORACLE数据库中的CHAR类型的字段转换成CLOB类型的字段，一种情况是空列，另一种情况是列中已有数据。测试表结构如下：1 SQL> desc sdb_b2c_goods2 Name
2021-06-17 14:16:44
1803
转载 Oracle行数据扩展方法总结
看到一篇文章是关于oracle sql 扩容的，挺有意思的，引用过来，并进行进行图解。本文来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/12932950/viewspace-717314/有如下需求：A用户有1笔交易B用户有3笔交易C用户有2笔交易数据如下：A 1B 3C 2现要求将该表数据扩展，变成：A 1B 3B 3B 3C 2C 2这是一个常见的数据需求，在分析或业务展现中应用比较多。实现的方法有以下几种（以下命名
2021-06-16 11:38:59
365
原创 notepad++ 利用正则表达式实现插入功能 也就是替换自己
工作中会遇到正则表达式，大部分都是利用正则表达式查找出固定的词然后替换。但是有一下场景，查找出来的词，不能被其他词替换，要引用正则数据。1.准备数据。查找在英文和中文之间插入一个Tab，也就是’\t’,经过试验得知，识别中文部分字段的正则表达为[^\x00-\xff](.*)Table,view or cluster name表，视图或群集名称 Column name列名 Datatype of the column数据类型的列 Datatype modifier of the column数据类
2021-06-11 15:05:19
772
原创 oracle库中选择性把表生成hive创表脚本
公司要搭建数据仓库，把oracle的数据导出到hive，首先要生成创表语句参考了https://blog.csdn.net/ZhouyuanLinli/article/details/100096647这篇文章，对代码增加了功能，可以选择性把表生成创表语句。select to_char(substr(table_prefix || col_strs || table_subfix, 1, 4000)) confrom ( select n.table_prefix, wm
2021-06-10 21:05:48
261
2
原创 insert overwrite table 后面为什么不能用select *，怎么解决这个bug
问题：两个同样的表结构的表，如果使用insert overwrite table select *会出现以下错误。hive> insert overwrite table dwd.t_change partition (dt='2021-06-10') > select * > from ods.t_change;FAILED: SemanticException [Error 10044]: Line 1:27 Cannot insert i
2021-06-10 14:40:43
5196
原创 shell脚本提取hive的表字段
工作中需要在脚本提取hive的表字段，可以通过以下语句提取。使用空格间隔开，可以再通过数组进行过滤使用。多个表可以通过TABLE_NAME[ ]数组进行循环使用TABLE_SCHEMA_STR=`hive -e "desc ods.${TABLE_NAME}" | awk -F '\t' '{print $1," "}' | cat | xargs echo |awk -F 'dt' '{print $1}'| awk '{gsub(/^\s+|\s+$/, "");print}' `...
2021-06-03 15:06:58
1573
原创 使用shell脚本把hive的表结构自动生成
工作中遇到需要表结构但是公司人员更新迭代，早就找不到创表语句，怎么办呢？通过一下脚本可以实现自动生成创表语句，可以自动把一个库下的所有表或者指定的几个表导出来。参数说明：参数1:库名，参数2-参数n：表名。例如：./test.sh ods table_name1 table_name2 table_name3。如果table_name不写，默认库下所有的表"。脚本是作者花了几个小时调试出来的，如果有需要可以关注一下作者，也是对本人的一种肯定，谢谢！#!/bin/bashDATABASE=$1a
2021-06-03 14:43:34
558
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人