1.5 F# 简介

1.5 F# 简介

 

书中各个阶段都有 F# 的介绍，只要有必要。在这一节，我们只讨论一些基础知识，会写几个简短的示例，这样，你自己就可以开始体验；第二章，在总结重要的函数概念后，我们会更仔细地讨论 F#；第一个实用的 F# 应用会出现在第四章；讨论了“Hello world”示例后，讲解能用 F# 语言干什么；还将讨论 F#典型的开发过程，因为它和我们用 C# 进行开发的过程可能完全不同。

 

微软 PLINQ 和谷歌 MapReduce

 

谷歌开发了一个用来并行处理海量数据的框架 MapReduce [Dean, Ghemawat, 2004]，它把工作分配到大型集群中的不同计算机上，思路与 PLINQ 相同。MapReduce 的基本思路是，用户程序用两个操作描述算法（有点类似于 PLINQ 的where 和 select），框架取这两个操作和输入的数据，然后进行计算。计算的示意图如图 1.2。

图 1.2 在 MapReduce 框架中，用映射任务（Map）和合并任务（Reduce）描述算法，框架自动把输入分配到不同的服务器上，并行地处理这些任务。

 

框架把输入的数据拆分为多个分区，在每个分区上执行映射任务（使用来自用户的第一个操作）。例如，映射任务可以网页上找到最重要的关键字，然后，收集由映射任务所返回的结果，并按指定的键值（例如，域名）分组，在每个分组上执行合并任务。在我们的示例中，合并任务可以汇总出每个域最重要的关键字。