spark之数据源格式

在 Spark SQL 中，支持多种源数据格式，每种格式都有其特定的优势和劣势。以下是一些常见的数据格式及其特点：
‎

1. CSV

‎
     优势：

• 人类可读性强，易于理解和编辑。
• 广泛支持，几乎所有的数据处理工具都能处理 CSV 文件。
• 简单，没有复杂的结构。
  ‎
  劣势：
• 不支持复杂数据类型。
• 没有类型安全，所有数据都是字符串。
• 性能较差，因为它是文本格式，需要在读取时解析。
• 不支持压缩和分割，大文件处理效率低。
  ‎

2. JSON

‎
      优势：

• 人类可读性强，格式灵活。
• 支持嵌套和复杂数据类型。
• 广泛使用于 Web 应用和服务之间的数据交换。
  ‎
  劣势：
• 性能较差，因为它是文本格式，需要在读取时解析。
• 文件通常较大，因为它是文本格式且包含大量重复的字段名。
  ‎

3. Parquet

‎
     优势：

• 列式存储，适合进行分析型查询，可以只读取需要的列。
• 支持压缩和编码，存储效率高。
• 支持复杂数据类型。
• 与 Hadoop 生态系统集成良好。
  ‎
  劣势：
• 二进制格式，人类不可读。
• 写入性能较好，但不如读取性能优秀。
  ‎

4. ORC

‎
     优势：

• 列式存储，适合进行分析型查询。
• 高效的压缩和编码，存储效率高。
• 支持复杂数据类型和ACID操作。
• 优化了读取性能，特别是在 Hive 中。
  ‎
  劣势：
• 二进制格式，人类不可读。
• 主要在 Hive 中使用，与其他工具的兼容性可能不如 Parquet。
  ‎

5. Avro

‎
    优势：

• 支持复杂数据类型和模式演变（schema evolution）。
• 序列化和反序列化性能良好。
• 文件大小相对较小。
  ‎
  劣势：
• 不如 Parquet 和 ORC 在分析查询上性能优秀。
• 二进制格式，人类不可读。

6.Text（文本）

‎
    优势：

• 简单易懂：文本格式非常简单，易于阅读和编辑，对于人类来说是直观的。
• 兼容性强：文本文件可以被大多数编程语言和数据处理工具轻松读取和写入。
• 易于调试：由于其可读性，文本格式在调试数据问题时非常有用。
  劣势：
• 性能较差：文本格式不支持列式存储，因此在执行查询时需要读取整行数据，这在处理大量数据时效率较低。
• 存储效率低：文本文件通常不支持内置的压缩，因此可能会占用更多的存储空间。
• 不支持复杂数据类型：文本格式通常只能存储简单的数据结构，如字符串，不支持嵌套或复杂的数据类型。
• 不支持模式演变：文本格式没有内置的方式来处理数据模式的变化。
  ‎
  文本格式通常用于存储简单的行数据，例如日志文件。在 Spark 中，文本格式通常用于读取和写入这些类型的数据。由于其性能和存储效率的限制，文本格式不适合用于大规模的数据分析工作负载。

推荐

对于分析型工作负载，通常推荐使用列式存储格式，如 Parquet 或 ORC。Parquet 是 Spark SQL 中最常用的格式之一，因为它与 Spark 和其他数据处理工具的集成良好，并且提供了出色的性能和压缩率。