大数据时代
——MapReduce读后感
作为当代大学生的我们,正处于一个信息爆炸的时代。现在的网络飞速发展,各种新奇事物
层出不穷,那些我们现在可以亲自接触到的大数据与人工智能,是以前的我们所远远不能想象
的。而在这样一个时代的一个开端,Google用三篇论文引爆了所谓的大数据时代 。
Google的MapReduce论文在2004年发布,该论文中描述了大数据的分布式计算方式,主要
思想是将任务分解然后在多台处理能力较弱的计算节点中同时处理,然后将结果合并从而完成
数据处理。MapReduce是一个编程模型和也是一个处理和生成超大数据集的算法模型的相关
实现。用户首先创建一个 Map 函数处理一个基于 key/valuepair 的数据集合,输出中间的
key/value pair 的数据集合;然后再创建一个 Reduce 函数用来合并所有的具有相同中间
值的中间 value 值。说起来对于一个机械专业的学生来说也不是很难理解,毕竟我们也学了C
语言和高数。用我的想法来说,就是两个步骤,第一步用一个映射函数将海量的数据一一对
应总结出来。第二步用一个你所需要的筛检函数来找出价值点。运用到计算机中就成了MapRd
uce这一种针对分布式并行计算的编程模式。在那个信息时代的开始,这种模式的运用极大的
帮助了大数据的处理。而且MapReduce架构的程序能够在大量普通配置的计算机上实现,能
够集中处理计算机的错误,管理集群中计算机之间的通信。总而言之,就是对于大数据时代的
促进提升作用,非常有利。
我是一个机械专业的学生,以后我所出的环境既然实在大数据时代下,那么我也就逃不开大
数据应用。暂时我能想到的,就有以后一个机械工程师所要进行的大量工作肯定是逃不开计算
机的运用,而且还有大量的实地考察工作肯定是人力物力所难以到达的,或者说是太费时费力
了。于是,大数据就要进入我们的手中并用以方便简单化我们的工作了。从我现在所学的课程
中,光是想一想如果以后的那些各种桥梁,建筑的各种刚度校核,强度计算,稳定性分析,还
有那些大量材料计算,数据统计能够借用大数据来轻松做出来,我就快要高兴得溢于言表了。
大数据时代,信息的时代,我们的时代。
大数据时代
最新推荐文章于 2022-04-23 21:47:03 发布