大数据
程序员万万
桃李春风一杯酒,江湖夜雨十年灯
展开
-
MapReduce中的mapper和reducer以及context
关于MapReduce中的mapperMapper有setup(),map(),cleanup()和run()四个方法。其中setup()一般是用来进行一些map()前的准备工作,map()则一般承担主要的处理工作,cleanup()则是收尾工作如关闭文件或者执行map()后的K-V分发等。run()方法提供了setup->map->cleanup()的执行模板。 在Ma...原创 2018-11-01 10:45:07 · 4699 阅读 · 1 评论 -
使用vmware提示无法打开内核设备 \\.\Global\vmx86: 系统找不到指定的文件
首先打开电脑的服务界面:windows+r输入:services.msc 接着会出现下面这一张图:找到VMware Workstation Server 这个服务将该服务启动 或者 先停止该服务,再启动 即可 ...原创 2019-02-11 11:17:15 · 313 阅读 · 0 评论 -
Spark与Flink的对比
一、引言随着大数据的普及,出现了许多的的流式处理框架,比如我们常用的Spark,Flink,Storm以及Samza,这里主要列举Spark和Flink的区别。 当提及大数据时,我们无法忽视流式计算的重要性,它能够完成强大的实时分析。而说起流式计算,我们也无法忽视最强大的数据处理引擎:Spark和Flink。 Apache Spark自2014年以来迅速普及。它提供了一个适用常见数据处理场...转载 2019-08-22 15:00:39 · 1147 阅读 · 0 评论