Spark使用Java读取Mysql

在Apache Spark中使用Java来读取MySQL数据库中的数据，你需要使用JDBC（Java Database Connectivity）来连接MySQL，并且通常你会使用Spark的JdbcRDD或者DataFrameReader（通过Spark SQL）来读取数据。不过，需要注意的是，JdbcRDD在较新版本的Spark中已经被弃用，因此推荐使用Spark SQL的DataFrameReader。

以下是一个使用Spark SQL的DataFrameReader和Java来读取MySQL数据库的示例步骤：

1. 添加依赖：
   首先，确保你的项目中包含了MySQL JDBC驱动和Spark SQL的依赖。如果你使用Maven，可以在pom.xml中添加如下依赖：

   <!-- MySQL JDBC Driver -->
   <dependency>
       <groupId>mysql</groupId>
       <artifactId>mysql-connector-java</artifactId>
       <version>8.0.x</version> <!-- 使用你需要的版本 -->
   </dependency>
   
   <!-- Spark SQL -->
   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-sql_2.12</artifactId>
       <version>3.x.x</version> <!-- 使用你需要的Spark版本 -->
   </dependency>
   

   注意替换8.0.x和3.x.x为你需要的版本。

2. 编写Java代码：
   使用DataFrameReader来读取MySQL中的数据：

   import org.apache.spark.sql.Dataset;
   import org.apache.spark.sql.Row;
   import org.apache.spark.sql.SparkSession;
   
   public class SparkJdbcExample {
   
       public static void main(String[] args) {
           // 创建一个SparkSession
           SparkSession spark = SparkSession
                   .builder()
                   .appName("Java Spark SQL MySQL Example")
                   .master("local[*]") // 使用本地模式，或者设置为你的集群管理器URL
                   .getOrCreate();
   
           // MySQL JDBC连接参数
           String jdbcUrl = "jdbc:mysql://localhost:3306/your_database";
           String connectionProperties = "user=your_username&password=your_password";
   
           // 读取MySQL表中的数据
           Dataset<Row> df = spark.read()
               .format("jdbc")
               .option("url", jdbcUrl)
               .option("dbtable", "your_table") // 你要读取的表名
               .option("user", "your_username")
               .option("password", "your_password")
               .load();
   
           // 显示前几行数据
           df.show();
   
           // 停止SparkSession
           spark.stop();
       }
   }
   

   请确保将your_database、your_table、your_username和your_password替换为你MySQL数据库的实际信息。

3. 运行程序：
   编译并运行你的Java程序。你应该能够看到你的MySQL表中的数据被读取并显示在你的控制台或你选择的输出位置。

注意：在生产环境中，你可能需要配置更复杂的连接参数，如SSL、连接池等。同时，处理敏感信息（如密码）时要特别小心，确保不要将敏感信息硬编码在代码中，而是使用环境变量或配置文件来管理这些敏感信息。