RDD 直接存入MySQL,以及直接读取MySQL中数据


1、在spark中,直接把RDD文件存到数据库中。

 

object  IPLocation {

  //每个分区连接一次MySQL,并且存储数据。

  val data2MySQL =(iterator: Iterator[(String, Int)]) => {

    var conn: Connection =null

    var ps :PreparedStatement = null  //这个对象是用来把数据放到MySQL数据库中

    val sql = "INSERTINTO location_info (location, counts, accesse_date) VALUES (?, ?, ?)"

    try { 

      conn =

DriverManager.getConnection("jdbc:mysql://localhost:3306/bigdata","root",

"123456")

      iterator.foreach(line=> {

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark是一个用于大数据处理的开发平台,支持多种数据源的读入和输出。HBase是一个分布式的非关系型数据库,常用于海量数据的存储和查询。而MySQL是一种关系型数据库,常用于小型数据的管理。在实际的数据处理,经常需要将HBase数据清洗后放入MySQL进行进一步的处理,那么该如何处理呢? 首先,需要考虑如何读取HBase数据。Spark提供了对HBase的支持,可以通过Spark SQL或RDD API来读取HBase数据。当使用Spark SQL时,需先创建HBase表对应的Schema,再用Spark SQL 读取数据。如果使用RDD API,需要创建HBaseConfiguration 对象,并指定对应的表名、列族等信息。 其次,进行数据清洗。数据清洗是数据处理不可或缺的一部分,通常包括数据过滤、字段选择、缺失值填充等操作。Spark提供了大量的API,便于对数据进行各种数据转换和处理。在数据清洗过程,可能出现数据量过大或者计算时间较长的情况,可以考虑使用分布式的计算框架Spark进行加速处理。 最后,将清洗后的数据存入MySQL数据库。Spark的 SQLContext 或 DataFrame API 可以将数据直接写入到MySQL。需要指定连接MySQL数据库的信息,包括服务器地址、端口号、数据库名、用户名和密码等参数。 综上所述,Spark 读取HBase数据清洗后放入MySQL,需要先读取HBase数据,进行数据清洗和转换,最后将数据存储到MySQL。Spark提供了丰富的API和分布式计算技术,便于处理大型数据集。实现这一过程,需要考虑数据的规模、计算时间和存储需求等多个因素,细致分析后,选择合适的技术和算法,方能获得良好的处理效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值