43、大数据与 SQL Server DBA 的数据处理之道

大数据与 SQL Server DBA 的数据处理之道

1. 数据输出查看

首先，找到名为 AverageListPrice 的目录，这里存放着输出数据。打开该目录，会看到一个名为 part-r-00000 的文件，点击它查看内容，文件应该有四行，与之前看到的输出格式一致。

2. Pig 平台介绍

Pig 是一个用于分析大型数据集的平台，它包含一种用于表达数据分析程序的高级语言，并且支持高度并行化。Pig 中的 Pig Latin 是一种过程式脚本语言，相比 Sqoop，它能以更强大的方式处理数据。Sqoop 类似于 SQL Server 中的 BCP，而 Pig 可被视为 Hadoop 的 ETL 工具，在数据提取、转换和加载时具有高度并行性。

Pig 拥有一系列用于字符串操作、数学运算、分组、聚合和比较的内置函数，还有用于连接、联合等操作的关系运算符，以及控制脚本流程和数据处理的功能。在更复杂的脚本中，开发者可以使用嵌套数据结构、流运算符和用户自定义函数。Pig 的优势在于能够并行加载数据、对数据应用分析函数，并将分析结果写入文件。

3. Pig 脚本示例

以下是一个简单的 Pig 脚本，用于按 ProductID 分组、统计行数并按行计数排序，类似于 T - SQL 的操作：

product_audit = LOAD '/data/ProductAudit/part-m-00001' USING PigStorage(',')