hive推送数据到mysql/oracle等数据库问题

于 2021-11-30 09:48:30 发布
阅读量2.4k 收藏
点赞数
文章标签： linux mapreduce hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aline12/article/details/121625482
版权

最近在从hive往o'racle推送数据的时候碰到一个问题

明明hive表结构中是bigint的字段 在推送到oracle表中对应的是number(18)的字段

报错

java.lang.ClassCastException: org.apache.hadoop.io.IntWritable cannot be cast to org.apache.hadoop.io.LongWritable

很奇怪 明明没有int的字段 为什么说检测到输入有int类型

最后排查出原因，是因为parquet文件中的schema 有好几个int类型的字段 也就是说在做推送的时候 系统直接读取的hdfs底层的parquet文件 而hive的表结构压根就没跟着

也就是说严格来说 数据的schema应该以底层的hdfs文件为主

加州小清新学长
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者转换时需要注意，再数据迁移json模板中，"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX迁移时会出现异常 执行语句：python /opt/module/datax/bin/datax.py /opt/module/datax/job/xxx.json
hive和oracle函数对照表.xlsx
07-29
包含hive和oracle的常用函数对比关系表，可以用于查询hive函数转换成oracle函数，或者oracle函数转换hive函数之间的相互转换。
通过sqoop将大数据平台hive表中的数据推送到Mysql中时，如果在客户端机器直接执行脚本，会报连接超时错误
weixin_42410172的博客
11-12 736
通过sqoop将大数据平台hive表中的数据推送到Mysql中时，如果在客户端机器直接执行脚本，会报连接超时错误，原因：客户端和Mysql数据库的防火墙不通。 解决方案：不能再前置机直接执行，将脚本放在oozie作业上执行。 ...
Oracle-ORA-01722 invalid number错误
yml957803796_1的专栏
07-11 1103
本来正常的，经过抓包才知道原来是数字型的无意中多了乱码！ 本来是3276的居然多了后面一串3276PuAnrSeU2zliU+IV/FHlnX2Xgia1au2xX2vMWtw http://www.cnblogs.com/raymond19840709/archive/2008/05/16/1200826.html 1. 代码里面执行了如下SQL语句： select mdn from tab...
Oracle 到 Hive 的数据类型映射
weixin_44839345的博客
06-15 3807
下表标识 Oracle 数据类型、复制定义数据类型和 Hive 数据类型 |Oracle 数据类型 |复制定义数据类型 |Hive 数据类型 |–|--| | | |
oracle hive 数据类型,查询oracle数据字典，并对应出hive的数据类型
weixin_39722965的博客
04-11 623
SQL开始selectt2.owner||'.'||t2.TABLE_NAME 源表名,'dl_{0}_seq.'||'tt_{1}_'||lower(t2.table_name) hive表名,nvl(t3.comments,'{2}') hive表注释,lower(t2.COLUMN_NAME) 字段名,t2.DATA_TYPE 源类型,casewhen instr(t2.DATA_TYPE,...
oracle版本用服务启动报错MybatisSystemException(java.math.bigDecimal cannot be cast to java.lang.Integer)问题
浮生若梦
02-16 1431
用mybatis链接的oracle数据库 用windows服务启动的时候会报这个错误，有两个地方出现。用startup.bat启动则不会出现这种问题。然后重启了一下服务器就好了，有没有人之前遇到过，咱们可以讨论一下这个问题产生的原因
java.math.BigDecimal cannot be cast to java.lang.String
moke的博客
01-26 894
今天在写spark bulkload 将hive数据导入到hbase的时候，sql有一个字段（AMT）类型为BigDecimal，我想将它转换为String row.getAs[String]("AMT").toString() 报错：java.math.BigDecimal cannot be cast to java.lang.String 解决方式： scala.math.BigDecimal(row.getAs[java.math.BigDecimal]("AMT")).toString()
类型转换错误类似java.math.BigDecimal cannot be cast to java.lang.Double 解决办法
热门推荐
justdoit_potato的博客
07-27 2万+
从数据库取出一个 Count函数 统计的值 在代码中要转成Integer类型的时候 Integer.parseInt((String)map.get("ID_"))  报了一下错误： Java.math.BigDecimal cannot be cast to java.lang.String   解决方法： Object ob = map.get("ID_"); Intege
hive和oracle常用函数对照表.xlsx
05-12
hive和oracle常用函数对照，包含常用的函数分类 字符函数 数值函数 日期函数 聚合函数 转换函数 其他 增加的hive函数对比，只需要2个积分喔
类型转换错误java.math.BigDecimal cannot be cast to java.lang.String
Just博客
12-15 1万+
从数据库取出一个 Count函数 统计的值 在代码中要转成Integer类型的时候 Integer.parseInt(map.get("ID_").toString()) ; 报了一下错误： java.math.BigDecimal cannot be cast to java.lang.String 解决方法： Object ob = map.get("ID_"); In
oracle 数据类型 hive数据类型
CarloPan的博客
10-26 1980
下面介绍几种常用的数据类 （1）CHAR（）该数据类型用于定义固定长度的字符串，其中用于指定字符串的最大长度，必须是正整数且不超过32767。使用CHAR类型定义变量时，如果没有指定则默认值为1。需要注意的是，在PL/SQL块中，使用该数据类型操纵CHAR表列时，其数值的长度不应超过2000字节。 （2）VARCHAR2（）该数据类型用于定义可变长度的字符串，其中用于指定字符串的最大长度，必须是正整数且不超过32767。使用VARCHAR2类型定义变量时，必须指定的值。需要注意的是，在P...
oracle到hive数据类型转换
jiguanglong的博客
08-13 1万+
oracle和hive中的数据类型存在差异，在oracle集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和oracle结构一致的表。 oracle到hive数据类型映射参考如下： select case when t1.column_id=1 then 'CREATE TABLE IF NOT EXISTS '||'project'||'....
Oracle到Hive的数据类型转换
Joseph25的博客
03-31 2253
将oracle表格转成hive建表使用textfile格式
weixin_44646794的博客
11-25 2217
oracle表格转成hive建表
Oracle/Hive/Impala SQL比较（1-2）
大米瓶子的博客
05-15 8070
因为一部分是写给公司同事看的，会适当阉割。      分为五部分介绍，以表格形式对比。各软件默认版本如下：Oracle 11g, Hive 0.13.0, Impala 2.1.0，如有例外会指出。空白说明没有这种类型或功能。      Cloudera官方文档有一篇文章阐述了Impala和Hive的差异（http://www.cloudera.com/documentation/ar
oracle,db2,teradata,hive字段类型汇总
csdn1152789046的博客
08-15 6968
经常使用的5种数据库:db2,gbase,hive,teradata,oracle. 他们有各自不同的字段类型定义. 这里 ,我汇总了相关的字段类型. oracle数据库的字段类型 字段类型 描述 字段长度及其缺省值       字符串型     char(size) 用于保存定长(
记一次Hive报错——NumberFormatException
qq_41868309的博客
05-20 515
笔者遇到一个Hive的报错：NumberFormatException。
如何把数据从oracle数据库迁移到hive中
最新发布
05-31
将Oracle数据库中的数据迁移到Hive可以通过以下步骤实现： 1. 在Oracle数据库中，将需要迁移的数据导出为CSV文件。 2. 将CSV文件上传至Hadoop分布式文件系统(HDFS)中。 3. 在Hive中创建与CSV文件相对应的表结构。 4...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值