在我之前的文章中，我介绍了以模块化、可维护和可序列化的方式对 Spark 应用程序进行编程的设计模式——这次我演示了如何配置通用的 JSON 和 YAML 解析器以在 Spark 应用程序中使用。
Spark 应用程序通常需要摄取 JSON 数据来转换数据，然后将数据保存在数据源中。另一方面，主要需要 YAML 数据来配置 Spark 作业。在这两种情况下，都需要根据预定义的模板解析数据。在 Java Spark 应用程序中，这些模板是 POJO。如何使用从本地或分布式文件系统获取的数据编写单个解析器方法来处理大量此类 POJO 模板？
这篇文章的组织如下：
- 第 1 节演示了如何配置一个通用的紧凑型 JSON 解析器，
- 第 2 节展示了如何对 YAML 解析器执行相同的操作。
可以在此处找到完全可用的代码。我们走吧。
JSON 解析器。
Spark 应用程序可能需要从本地文件系统或分布式Hadoop 文件系统 (hdfs)读取 JSON 文件。通常在本地情况下，会上传配置数据。另一种场景，当本地 JSON 数据上传时，是在本地模式下运行、测试和调试 Spark 应用程序。在这些情况下，最好有一个 JSON 解析器，我们可以在其中快速在本地文件系统和 hdfs 之间切换。
为了解决这个问题，让我们看看本地文件系统和 hdfs 的数据流有何不同。对于本地文件系统，aDataInputStream的获取方式如下：
数据输入流数据输入 流 = 新数据输入 流( 流 = 新数据输入 流( 新 文件输入流（“src/test/resources/file_name.json”））；新 文件输入流（“src/test/resources/file_name.json”））；另一方面，hdfs 数据流的获取方式要复杂得多：
最终 SparkSession sparkSession = SparkSession SparkSession sparkSession = SparkSession. 建设者（）。配置（“//--配置参数--//”）建设者（）。配置（“//--配置参数--//”）. 应用名称（ “ APP_NAME_1 ”）应用名称（ “ APP_NAME_1 ”）<span style="color:#aa5500">//--启用其他功能--//</span>. 获取或创建（）；获取或创建（）；SparkContext sparkContext = sparkSession。火花上下文（）； sparkContext = sparkSession。火花上下文（）；最终 配置 hadoopConf = sparkContext。hadoopConfiguration (); 配置 hadoopConf = sparkContext。hadoopConfiguration ();SerializableConfiguration scfg = new SerializableConfiguration ( hadoopConf ); scfg = new SerializableConfiguration ( hadoopConf );文件 系统文件系统 = 文件系统。获取（scfg.value （））； 系统文件系统 = 文件系统。获取（scfg.value （））；FSDataInputStream 流 = 文件系统。open ( new Path ( "//--hdfs文件路径--" )); 流 = 文件系统。open ( new Path ( "//--hdfs文件路径--" ));首先，创建一个 Spark 会话；会话配置为使用 hdfs 和其他分布式数据源 ( Apache Hive )。其次，经过4个中间步骤，得到一个distributed的实例FileSystem。最后，FSDataInputStream创建了一个分布式。
本地和分布式文件流是相关的：
公共 类 FSDataInputStream 扩展 DataInputStream 实现 Seekable等_ 类 FSDataInputStream 扩展 DataInputStream 实现 Seekable等_因此，本地和分布式数据流可以在具有通用<? extends DataInputStream>输入流类型的同一解析器中使用。让我们尝试以下解决方案：
公共 类 ParserService { 类 ParserService { public static < T extends DataInputStream , B > B parseSingleDeclarationStream ( T inputStream ,public static < T extends DataInputStream , B > B parseSingleDeclarationStream ( T inputStream , Class < B > className )抛出 IOException {Class < B > className )抛出 IOException { Gson gson = 新的 GsonBuilder ()。设置日期格式（“yyyy-MM-dd”）。创建（）；Gson gson = 新的 GsonBuilder ()。设置日期格式（“yyyy-MM-dd”）。创建（）； JsonReader reader = new JsonReader ( new InputStreamReader ( inputStream , "UTF-8" ));JsonReader reader = new JsonReader ( new InputStreamReader ( inputStream , "UTF-8" )); B 消息 = gson。fromJson (读者,类名);B 消息 = gson。fromJson (读者,类名); 读者。关闭（）；读者。关闭（）； 返回 消息；返回 消息； }}我们使用 Gson 库来解析输入流。此外，我们需要为这个解析器提供一个 POJO 类名才能工作。下面是一个如何使用这个解析器的例子（详见代码）：
数据输入流数据输入 流 = 新数据输入 流( 流 = 新数据输入 流( 新文件 输入流（“src/test/resources/declaration.json”））；新文件 输入流（“src/test/resources/declaration.json”））； 声明 声明 = ParserService。parseSingleDeclarationStream ( dataInputStream , Declaration.class ) ; _声明 声明 = ParserService。parseSingleDeclarationStream ( dataInputStream , Declaration.class ) ; _ assertEquals（声明。getDeclaration_id （），“ABCDE12345” ）；assertEquals（声明。getDeclaration_id （），“ABCDE12345” ）； assertEquals（声明。getDeclaration_details（）。长度， 1 ）； assertEquals（声明。getDeclaration_details（）。长度， 1 ）； assertEquals（声明。getDeclaration_details （）[ 0 ] 。getDetail_1（），10）；assertEquals（声明。getDeclaration_details （）[ 0 ] 。getDetail_1（），10）；这里Declaration andDeclarationDetails是简单的 POJO：
公共 类 声明{ 类 声明{ 私有 字符串 声明_id；私有 字符串 声明_id； 私有 短 声明版本；私有 短 声明版本； 私有 短 声明类型；私有 短 声明类型； 私人 日期 声明日期；私人 日期 声明日期； 私人 声明细节[]声明细节;私人 声明细节[]声明细节; //--getter 和 setter--////--getter 和 setter--//}公共 类 DeclarationDetails { 类 DeclarationDetails { 私人 int detail_1 ;私人 int detail_1 ; 私人 int detail_2 ;私人 int detail_2 ; //--getter 和 setter--////--getter 和 setter--//}所以，这个解析器正确地解析了子数组和对象。请注意，只要字符串符合单个模式字符串（在本例中为“yyyy-MM-dd”），Gson 也会解析日期/时间字符串。
YAML 解析器
在我们的项目中，我们使用本地 YAML 文件来指定 Spark 作业。例如，将数据从 Postgres 数据库传输到 Hive 数据库的基本 Spark 作业配置如下所示：
<span style="color:#0000ff">---</span>工作名称：JOB_1：JOB_1hiveTable : hive_table_1: hive_table_1rdbTable : rdb_table_1: rdb_table_1<span style="color:#0000ff">---</span>工作名称：JOB_2：JOB_2hiveTable : hive_table_2: hive_table_2rdbTable : rdb_table_2: rdb_table_2在这里，我们需要将数据从关系数据库表（rdbTables）传输到相应的配置单元表（hiveTables）。我们需要上传和解析这个配置数据来得到 a List<JobConfig>，其中 aJobConfig是
公共 类 JobConfig { 类 JobConfig { 私人 字符串 作业名； 私人 字符串 作业名； 私有 字符串 hiveTable ; 私有 字符串 hiveTable ; 私人 字符串 选择； 私人 字符串 选择； //--setter 和 getter--////--setter 和 getter--//}下面的解析器解决了这个问题：
公共 类 ParserService { 类 ParserService { public static < T extends JobConfig > List < T > getLocalFSJobList (字符串 路径,public static < T extends JobConfig > List < T > getLocalFSJobList (字符串 路径, 类< T >类 名）抛出FileNotFoundException { 类< T >类 名）抛出FileNotFoundException { 列表< T > 列表 = 新的 ArrayList <> ();列表< T > 列表 = 新的 ArrayList <> (); 数据输入流 数据流 = 新数据输入 流(数据输入流 数据流 = 新数据输入 流( 新 文件输入流（路径））；新 文件输入流（路径））； YamlDecoder dec = 新 YamlDecoder (数据流);YamlDecoder dec = 新 YamlDecoder (数据流); YamlStream < T > 流 = dec。asStreamOfType (类名);YamlStream < T > 流 = dec。asStreamOfType (类名); 而（流。hasNext （））{而（流。hasNext （））{ T 项目 = 流。下一个（）；T 项目 = 流。下一个（）； 列表。添加（项目）；列表。添加（项目）； } 返回 列表；返回 列表； }}这里我们使用YamlDecoder来自 jyaml 库。我们使用 local DataInputStream，虽然子流类，就像前一部分一样，也可以工作。此外，此解析器使用<T extends JobConfig>输出类型。这种更具体的输出类型允许我们在基本JobConfig类中添加额外的参数。
请注意，不需要扩展 JobConfig 超类以使该算法起作用。我添加了这个约束，因为通常 YAML 文件是本地文件并指定 Spark 作业，因此不需要更通用的类型。
此解析器以下列方式运行：
<span style="color:#555555">@测试</span> 公共 无效 testYmlParser ()抛出 FileNotFoundException {公共 无效 testYmlParser ()抛出 FileNotFoundException { 列出< JobConfig > 作业 = ParserService。getLocalFSJobList ( "src/test/resources/jobs.yml " , JobConfig.class ) ; 列出< JobConfig > 作业 = ParserService。getLocalFSJobList ( "src/test/resources/jobs.yml " , JobConfig.class ) ; assertEquals（作业。大小（），2）； assertEquals（作业。大小（），2）； assertEquals ( jobs.get ( 0 ) .getJobName (), “ JOB_1 ” ); assertEquals ( jobs.get ( 0 ) .getJobName (), “ JOB_1 ” ); assertEquals ( jobs.get ( 0 ) .getSelect ( ) , “ rdbTable_1 ” ); assertEquals ( jobs.get ( 0 ) .getSelect ( ) , “ rdbTable_1 ” ); assertEquals ( jobs.get ( 1 ) .getJobName (), “ JOB_2 ” ); assertEquals ( jobs.get ( 1 ) .getJobName (), “ JOB_2 ” ); assertEquals ( jobs.get ( 1 ) .getSelect ( ) , “ rdbTable_2 ” ); assertEquals ( jobs.get ( 1 ) .getSelect ( ) , “ rdbTable_2 ” ); }}解析器正确识别单个文件中的多个作业并将这些作业组合成一个列表。有关详细信息，请参阅代码。
结论
在这篇文章中，我演示了如何编写通用的 JSON 和 YAML 解析器。可以为本地和分布式文件系统轻松配置解析器。此外，解析器可以接受广泛的 POJO 模板来解析数据。希望这些技巧对您的项目有所帮助
957
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
