有关于Mapreduce的读后感

有关Mapreduce的读后感

   说起Mapreduce，我并不知道太多关于Mapreduce的知识，以前也并没有听说过Mapreduce的方面的东西，感觉是一种比较深奥的东西，当时只是感觉这东西可能和IT有关系，感觉是一种代码方面的知识，来进行大数据方面的知识构造。自从学了这门公选课之后，我才慢慢地弄清楚大数据与人工智能这方面的东西，但也只是一知半解而已，并没有能够深入了解，只是能了解到皮毛。在学了这门公选课之后，的确是更了解大数据与人工智能所说的东西，也知道了和Mapreduce有关的一些东西。
   MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。
   MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：
   1.MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。
   2.MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。
   3.MapReduce是一个并行程序设计模型与方法（Programming Model & Methodology）。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理 。
   MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google一直是我很向往的一个公司，Google公司所提出的Mapreduce对于我们大学生来说，可能会显得很深奥，也许会看不懂，就算是计算机专业的也不一定能看得懂，更何况是我这种国际经济与贸易这个专业的，但我还是依旧努力去去学习，去看懂。
   所以Mapreduce能干什么呢？简单地讲，MapReduce可以做大数据处理。所谓大数据处理，即以价值为导向，对大数据加工、挖掘和优化等各种处理。
   MapReduce擅长处理大数据，它为什么具有这种能力呢？这可由MapReduce的设计思想发觉。MapReduce的思想就是“分而治之”。
   1.Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义：一是数据或计算的规模相对原任务要大大缩小；二是就近计算原则，即任务会分配到存放着所需数据的节点上进行计算；三是这些小任务可以并行计算，彼此间几乎没有依赖关系。
   2.Reducer负责对map阶段的结果进行汇总。至于需要多少个Reducer，用户可以根据具体问题，通过在mapred-site.xml配置文件里设置参数mapred.reduce.tasks的值，缺省值为1。
   一个比较形象的语言解释MapReduce：We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.（我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。）
   MapReduce提供了以下的主要功能：
   1.数据划分和计算任务调度：
   系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。
   2.数据/代码互定位：
   为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。
   自从学了大数据与人工智能，并了解了和Mapreduce有关的知识后，我逐渐有了大数据思维，也逐渐明白了大数据思维如何在生活中的运用，大数据与人工智能正逐渐成为时代的新宠儿，而我们当代大学生也应该去学习大数据思维，拥有一个大数据的思想来为未来的大数据时代做好万分的准备。