大数据平台导出数据到本地Mysql数据库报错

业务场景如下:
使用大数据平台Hadoop执行存储过程获取数据,然后将大数据平台表中的数据导出到本地Mysql数据库中,
为了数据安全,先将数据导出到一个专用用户中,再由专用用户通过触发器插入到实际业务用户中。
在由大数据平台导出时报如下错误:
- ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseBatchException: 
- Error updating batch
- Column count doesn't match value count at row 1

- at org.pentaho.di.core.database.Database.createKettleDatabaseBatchException(Database.java:1379)
- at org.pentaho.di.core.database.Database.emptyAndCommit(Database.java:1368)
- at org.pentaho.di.trans.steps.tableoutput.TableOutput.dispose(TableOutput.java:575)
- at org.pentaho.di.trans.step.RunThread.run(RunThread.java:96)
- at java.lang.Thread.run(Thread.java:745)
- Caused by: java.sql.BatchUpdateException: Column count doesn't match value count at row 1
- at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:2007)
- at com.mysql.jdbc.PreparedStatement.executeBatch(PreparedStatement.java:1443)
- at org.pentaho.di.core.database.Database.emptyAndCommit(Database.java:1355)
- ... 3 more
看错误应该是大数据平台中的表字段个数和本地数据库表字段不匹配造成的,但是反复核对字段个数都是一致的。而且之前导出都是成功的。
多次测试任务终于发现问题所在,原来是update触发器缺少了一个字段导致的,加上之后导出成功,触发器也是之后才写的,所以之前导出没有报错。
比较奇怪的是大数据平台导数据到专用用户中,为什么触发器报错会带到大数据平台,导致导出也出错,怀疑是导出数据时触发器就执行,报错,导致导出失败的。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要将Druid的MySQL数据库中的数据导入到本地MySQL数据库,可以按照以下步骤进行操作: 1. 在本地MySQL数据库中创建与Druid的MySQL数据库相同的表结构,可以使用CREATE TABLE语句来创建表。 2. 在本地MySQL数据库中创建一个与Druid的MySQL数据库连接的数据源,可以使用MySQL命令行客户端或者其他MySQL客户端工具连接。 3. 在本地MySQL数据库中使用SELECT语句查询Druid的MySQL数据库中的数据,并将结果保存到本地的一个临时文件中。 4. 在本地MySQL数据库中使用LOAD DATA INFILE语句将临时文件中的数据导入到本地MySQL数据库中的表中。 需要注意的是,如果Druid的MySQL数据库中的数据量比较大,那么可能需要分批导入或者使用专业的数据迁移工具来完成数据的迁移。同时,在导入数据时也需要注意数据的一致性和正确性。 ### 回答2: 要把druid的MySQL数据库中的数据导入本地MySQL数据库,可以参考下面的步骤: 1. 首先,确保本地MySQL数据库已经启动并且可以连接。如果还没有安装MySQL数据库,可以先进行安装并启动。 2. 打开druid的MySQL数据库的管理工具,如phpMyAdmin、Navicat等,登录并选择要导出数据库。 3. 在导出数据库之前,可以根据需要选择要导出数据表或者整个数据库。如果只需要导出特定的数据表,可以在管理工具中选择对应的表。 4. 导出数据的方式可以选择导出为SQL文件或者导出为CSV文件。选择合适的导出选项,并且保存导出文件到本地计算机。 5. 然后,打开本地MySQL数据库的管理工具,登录并选择要导入数据数据库。如果还没有创建目标数据库,可以先进行创建。 6. 在管理工具中选择导入选项,并且选择之前导出的文件进行导入操作。 7. 导入过程中可能需要设置一些选项,如字符集、导入方式等,根据实际情况进行选择和设置。 8. 确认导入选项设置无误后,开始执行导入操作。导入过程可能需要一些时间,取决于导入的数据量和网络速度。 9. 导入完成后,可以在本地MySQL数据库的管理工具中查看导入的数据,确保导入成功。 总结:通过以上步骤,就可以将druid的MySQL数据库中的数据成功导入到本地MySQL数据库中。 ### 回答3: 要将Druid的MySQL数据库中的数据导入到本地MySQL数据库,可以按照以下步骤进行操作: 1. 首先,确保本地MySQL数据库已经正确安装并启动。 2. 在Druid的MySQL数据库中,使用导出工具(如mysqldump)将数据导出为SQL文件。可以使用以下命令导出整个数据库: ``` mysqldump -u 用户名 -p 密码 数据库名 > 导出文件名.sql ``` 3. 将导出的SQL文件复制到本地机器上,并确保路径和文件名正确。 4. 在本地MySQL数据库中,创建新的数据库(如果已存在,则跳过此步骤): ``` CREATE DATABASE数据库名; ``` 5. 在本地MySQL数据库中,使用导入工具(如mysql或source命令)导入SQL文件。可以使用以下命令导入数据: ``` mysql -u 用户名 -p 密码 新数据库名 < 导出文件名.sql ``` 6. 等待导入过程完成,导入的速度取决于数据量的大小,可能需要一些时间。 7. 导入完成后,可以使用本地MySQL数据库客户端工具验证数据是否正确导入,并执行必要的查询和操作。 总结起来,将Druid的MySQL数据库中的数据导入到本地MySQL数据库需要导出数据库的SQL文件,然后在本地创建目标数据库并导入SQL文件。最后,通过本地MySQL客户端工具验证数据是否正确导入。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值