spark读取hdfs存入mysql_Spark读取HDFS上的SQL语句,然后导入MySQL

现在Hive执行结果会存储到HDFS上,这些文件是一些SQL语句,我们可以通过Spark读取这些文本文件,然后导入到MySQL中,下面是实现了如何通过Spark来读取HDFS,通过在Parition中获取数据库的连接,并把操作MySQL数据库,从而实现Spark读取HDFS,来操作MySQL。

本项目的环境:

JDK:1.7

Hadoop:2.7.1

Spark:1.6.0

Scala:2.10.5

采用SBT方式创建的项目,可以详见:http://blog..net/shenfuli/article/details/51534734

/**

* 读取HDFS上文本的SQL,然后导入MySQL

*

*

* Author: Created by fuli.shen on 2016/5/30.

*/

object RDDtoMySQL {

var inputPath = ""

var ip = ""

var dataBaseName = ""

var userName = ""

var password = ""

def main(args: Array[String]) {

if (args.length != 5) {

println("Usage:")

sys.exit(1)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值