aws java mysql_使用AWS Glue覆盖MySQL表

我遇到了与Redshift相同的问题,我们可以提出的最佳解决方案是创建一个加载MySQL驱动程序并发出截断表的Java类：

package com.my.glue.utils.mysql;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.SQLException;

import java.sql.Statement;

@SuppressWarnings("unused")

public class MySQLTruncateClient {

public void truncate(String tableName, String url) throws SQLException, ClassNotFoundException {

Class.forName("com.mysql.jdbc.Driver");

try (Connection mysqlConnection = DriverManager.getConnection(url);

Statement statement = mysqlConnection.createStatement()) {

statement.execute(String.format("TRUNCATE TABLE %s", tableName));

}

}

}

将JAR上传到S3以及MySQL Jar依赖项,并使您的工作依赖于这些.在PySpark脚本中,您可以使用以下命令加载truncate方法：

java_import(glue_context._jvm, "com.my.glue.utils.mysql.MySQLTruncateClient")

truncate_client = glue_context._jvm.MySQLTruncateClient()

truncate_client.truncate('my_table', 'jdbc:mysql://...')