spark 写入mysql 出现的连接问题

spark中dataFrame 的join操作出现的问题

   val resu1: DataFrame = joined2.filter(($"register_time" + 7 * 86400000 )> $"signin_time")   .groupBy("register_time").agg(countDistinct(registered("userUID")).as("num"))
//      resu1.show()
    val resu2: DataFrame = joined2.groupBy("register_time").agg(countDistinct(registered("userUID")).as("totalNum"))
//     resu2.show()

//通过字段register_time join
 val frame: DataFrame = resu1.join(resu2,Seq("register_time"))
 val frame2: DataFrame = frame.select($"register_time",($"num"/$"totalNum").as("percent"))
 JdbcUtils.dataFrameToMysql(frame2,JdbcUtils.table_week_percent,0)// 封装的方法


 //如果是下面这种 没有指明字段 show 也能出结果 但是很慢很慢 而且提示要加这句话:config("spark.sql.crossJoin.enabled",true)
//写入数据库的时候就报错了

  val frame: DataFrame = resu1.join(resu2)
 val frame2: DataFrame = frame.select(registered("register_time",($"num"/$"totalNum").as("percent"))
frame2.show()

 JdbcUtils.dataFrameToMysql(frame2,JdbcUtils.table_week_percent,0)// 封装的方法



//错误信息:
org.hibernate.exception.JDBCConnectionException: Cannot open connection
at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:74)
at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:43)
at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:29)
at org.hibernate.jdbc.ConnectionManager.openConnection(ConnectionManager.java:426)
at org.hibernate.jdbc.ConnectionManager.getConnection(ConnectionManager.java:144)
at org.hibernate.jdbc.AbstractBatcher.prepareQueryStatement(AbstractBatcher.java:139)

Caused by: java.net.BindException: Address already in use: connect
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.PlainSocketImpl.doConnect(PlainSocketImpl.java:333)


The driver was unable to create a connection due to an inability to establish the client portion of a socket.
This is usually caused by a limit on the number of sockets imposed by the operating system. This limit is usually configurable.
For Unix-based platforms, see the manual page for the 'ulimit' command. Kernel or system reconfiguration may also be required.
For Windows-based platforms, see Microsoft Knowledge Base Article 196271 (Q196271).
...

	...

原因:join操作虽然在show的时候能出结果但是花费了很长的时间,可见两边关联的时候选择了好几个字段进行关联 ,但是在执行写入mysql的时候就和mysql建立了连接,但是结果迟迟不能出来,最后超时退出,也有解决办法:
https://blog.csdn.net/xiaoxuexu/article/details/84482355?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control

但是这个并不是解决本错误案例的最佳方法(其实就是语法不够规范),所以很多时候看问题不能只看表面。看到的问题是表象,要找到产生问题的真正原因才是关键。
计算机的问题有点类似于人的病,看不见摸不着,你是咳嗽了,但是咳嗽的原因有很多,不是别人吃这个药你就吃这个药,找到引起咳嗽的真正原因才能对症下药。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark中将计算结果写入MySQL时,可能会遇到并发问题。下面是一些常见问题及解决方法: 1. 插入重复数据:如果在并行处理过程中,多个任务尝试将相同的数据插入到MySQL中,可能会导致插入重复数据的问题。解决方法是使用MySQL的唯一约束或主键来避免插入重复数据。 2. 数据丢失:如果在并行处理过程中,多个任务尝试同时更新相同的数据,可能会导致数据丢失问题。解决方法是使用MySQL的事务隔离级别来保证数据一致性。 3. 性能问题:如果并发写入MySQL的数量过多,可能会导致性能下降。解决方法是使用连接池来管理MySQL连接,以便重用连接,避免频繁创建和销毁连接。 下面是一个Spark计算结果写入MySQL的示例: ```scala import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.sql.{DataFrame, SparkSession} object SparkWriteToMysql { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("SparkWriteToMysql") .master("local[*]") .getOrCreate() // 读取数据 val df: DataFrame = spark.read .option("header", "true") .csv("data.csv") // 写入MySQL df.foreachPartition(partition => { // 获取MySQL连接 val conn: Connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/test", "root", "password") // 批量插入数据 val sql: String = "INSERT INTO test_table (col1, col2) VALUES (?, ?)" val pstmt: PreparedStatement = conn.prepareStatement(sql) partition.foreach(row => { pstmt.setString(1, row.getAs[String]("col1")) pstmt.setString(2, row.getAs[String]("col2")) pstmt.addBatch() }) pstmt.executeBatch() // 关闭连接 pstmt.close() conn.close() }) spark.stop() } } ``` 在这个示例中,我们使用了`foreachPartition`操作,将DataFrame的每个分区并行写入MySQL中。我们使用`DriverManager`获取MySQL连接,并使用`PreparedStatement`批量插入数据。最后,我们关闭连接,并停止SparkSession。 请注意,这个示例并没有处理并发问题,您需要根据您的具体情况进行适当的处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值