![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
清风醉-木寒暄
这个作者很懒,什么都没留下…
展开
-
MapReduce的原理及执行过程
MapReduce简介MapReduce是一种分布式计算模型,是Google提出的,主要用于搜索领域,解决海量数据的计算问题。 MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分布式计算。MapReduce执行流程 MapReduce原理 MapReduce的执行步骤:1、Map任务处理 1.1 读...转载 2018-08-31 13:50:06 · 1540 阅读 · 0 评论 -
什么是Zookeeper,Zookeeper的作用是什么,它与NameNode及HMaster如何协作
什么是Zookeeper,Zookeeper的作用是什么,它与NameNode及HMaster如何协作?在没有接触Zookeeper的同学,或许会有这些疑问。这里给大家总结一下。一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及L...转载 2018-08-30 10:26:50 · 2920 阅读 · 0 评论 -
linux环境下安装jdk1.8
第一步:下载Linux环境下的jdk1.8,请去(官网)中下载jdk的安装文件(http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html);由于我的Linux是64位的,因此我下载jdk-8u144-linux-x64.tar.gz文件。如下图所示 第二步:新建/usr/java文...转载 2018-08-30 16:06:29 · 249 阅读 · 0 评论 -
yarn 运行mapreduce常见错误 beyond the 'VIRTUAL' memory limit
学习mapreduce,在虚拟机上搭建了四台服务器的集群测试,结果运行 hadoop jar wordcount.jar com.csnt.vordcountsubmit后报错,不能运行出结果,尝试了好多种方法才解决了。报错粘贴:hadoop jar mapreduce20-0.0.1-SNAPSHOT.jar com.hadoop.mapreduce20.WordCountJobSubm...原创 2019-03-14 22:22:41 · 2104 阅读 · 1 评论 -
fastdfs文件上传成功但无法访问
fastdfs集群搭建所需插件原创 2019-07-11 17:14:08 · 9139 阅读 · 0 评论 -
Kafka详细原理总结
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Li...转载 2019-07-25 17:31:06 · 155 阅读 · 0 评论