![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
small.Lei
这个作者很懒,什么都没留下…
展开
-
sqoop的原生抽取方式与HCatalog抽取的区别
两者的区别:文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFileHCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖字段匹配,sqoop原生是顺序匹配mysql和hive字段HCatalog通过字段名字进行匹配,更容易读,不容易出错...原创 2023-02-06 19:08:33 · 247 阅读 · 0 评论 -
查看hive的jar包
查看hive的jar包原创 2022-11-10 15:00:22 · 861 阅读 · 0 评论 -
hana数据库通过sqoop实现hdfs/hive表数据迁移
demo(要先在hive建表)导入hive表 sqoop import \ -Dhadoop.security.credential.provider.path=jceks://hdfs/user/password/hanadb_password.jceks \ --connect "jdbc:sap://10.1.88.88:30088/" \ --driver com.sap.db.jdbc.Driver \ --username root\ --passw原创 2021-11-24 11:20:52 · 2152 阅读 · 0 评论 -
Hive常见问题 unable to create manager for [/var/log/hive/operation_logs/
内存溢出虚拟内存溢出:Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.==【即虚拟内存溢出】==;方法一:提高yarn.nodemanager.vmem-pmem-ratio = 5或者更高;【推荐】方法二:yarn.nodemanager.vmem-check-enabled =false ;关闭虚拟内存检查;不推荐方法三:提高.转载 2021-07-22 14:35:56 · 1868 阅读 · 0 评论 -
oracle库中选择性把表生成hive创表脚本
公司要搭建数据仓库,把oracle的数据导出到hive,首先要生成创表语句参考了https://blog.csdn.net/ZhouyuanLinli/article/details/100096647这篇文章,对代码增加了功能,可以选择性把表生成创表语句。select to_char(substr(table_prefix || col_strs || table_subfix, 1, 4000)) confrom ( select n.table_prefix, wm原创 2021-06-10 21:05:48 · 261 阅读 · 2 评论 -
insert overwrite table 后面为什么不能用select *,怎么解决这个bug
问题:两个同样的表结构的表,如果使用insert overwrite table select *会出现以下错误。hive> insert overwrite table dwd.t_change partition (dt='2021-06-10') > select * > from ods.t_change;FAILED: SemanticException [Error 10044]: Line 1:27 Cannot insert i原创 2021-06-10 14:40:43 · 5194 阅读 · 0 评论