大数据处理系统基础

大数据处理系统是一种用于处理和分析大规模数据集的工具。它提供了高效的数据存储、处理和查询能力，能够帮助用户从海量数据中提取有价值的信息。本文将介绍大数据处理系统的基础知识，并提供相应的源代码示例。

一、大数据处理系统的概述
大数据处理系统通常由以下几个核心组件组成：

1. 数据采集与存储：负责从各种数据源（如传感器、日志文件、数据库等）中采集数据，并将其存储到合适的数据存储系统中。常用的数据存储系统包括分布式文件系统（如Hadoop的HDFS）、列式数据库（如Apache Cassandra）等。

2. 数据处理与分析：提供了对大规模数据进行处理和分析的能力。这包括数据清洗、转换、聚合、计算等操作。常见的大数据处理与分析框架有Apache Hadoop、Apache Spark等。

3. 数据查询与检索：支持对存储在大数据系统中的数据进行查询和检索。这通常使用分布式查询引擎（如Apache Hive、Apache Impala）来实现。

4. 数据可视化与展示：将处理和分析得到的结果以可视化的方式展示给用户。常见的数据可视化工具有Tableau、Power BI等。

二、示例代码：使用Apache Spark进行大数据处理
以下示例将展示如何使用Apache Spark进行大数据处理。假设我们有一个包含大量文本文件的数据集，我们希望统计每个单词在数据集中出现的频率。

1. 导入必要的库和创建Spark上下文：

from pyspark import Sp