Hadoop 连接mysql

本文介绍如何使用Hadoop的DBWritable接口将MySQL数据导入HDFS,以及如何反向操作,将HDFS数据导入MySQL数据库。涉及的技术包括DataInput、DataOutput、DBInput和DBOutput等。
摘要由CSDN通过智能技术生成

1   

mysql数据导入到hdfs数据

      hadoop提供了org.apache.hadoop.io.Writable接口来实现简单的高效的可序列化的协议,该类基于DataInput和DataOutput来实现相关的功能。

     hadoop对数据库访问也提供了org.apache.hadoop.mapred.lib.db.DBWritable接口,其中write方法用于对PreparedStatement对象设定值,readFields方法用于对从数据库读取出来的对象进行列的值绑定;

见  https://blog.csdn.net/lianggangzzu/article/details/72594186

见  https://blog.csdn.net/fantasticqiang/article/details/80667023

 

2

hdfs数据导入到mysql

    hdfs文件存储到mysql,也需要上边的DBRecord类作为辅助,因为数据库的操作都是通过DBInput和DBOutput来进行的;

转载于:https://www.cnblogs.com/aibabel/p/10878160.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值