![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 86
trumanz
这个作者很懒,什么都没留下…
展开
-
通过编写一个YARN Application 来了解Hadoop YARN
YARN是Hadoop中的一个cluster资源管理系统。 MapReduce 就是泡在YARN 之上的,其关系如下图, MapReduce 通过YARN 在cluster内申请内存和cpu资源,YARN执行MapReduce Task. 最近学习了YARN,从部署的角度YARN支持三种调度器:FIFO, Capacity 和 Fair。从开发应用程序的角度,实现一个YA原创 2015-06-24 22:18:42 · 5005 阅读 · 0 评论 -
Hadoop源码分析,map输入
对于MapReduce的输入输出Hadoop的官网如下所示Input and Output types of a MapReduce job:(input) -> map -> -> combine -> -> reduce -> (output)这里将从源码分析 input ->map 的过程,Mapper 基类定义Mapper基类如下我们要重写其ma原创 2015-06-06 23:32:14 · 1318 阅读 · 0 评论 -
hadoop源码分析,map输出
Mapper 的输入官方文档如下The Mapper outputs are sorted and then partitioned per Reducer. The total number of partitions is the same as the number of reduce tasks for the job. Users can control w原创 2015-06-07 00:30:19 · 603 阅读 · 0 评论 -
docker + ambari(hortonworks ) 快速搭建hadoop 环境
最近在搭建hadoop 环境的时候,最初尝试去写一些脚本去安装包以及修改配置,后来发现源软件https://ambari.apache.org/可以管理部署监控hadoop集群, 于是尝试用docker安装试验。ambaris: 是 hortonworks 开发的一个自动 部署+管理+监控 HDP(Hortonworks Data Platform, http://hortonworks.原创 2015-06-14 17:04:06 · 11717 阅读 · 2 评论 -
Kubernetes 之部署 cassandra + solr(datastax)解析
Kubernetes 之部署 cassandra + solr(datastax)解析Kubernetes 之部署 cassandra solrdatastax解析环境需求kubertes cluster环境datastax imageImage解析image增加kubernetes支持伸缩性支持image 增加启动脚本Kuberntes yaml 解析Kubernetes 是一个原创 2015-12-25 18:36:41 · 2540 阅读 · 0 评论