![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 73
砸锅卖铁上论坛
这个人很懒,什么都没有留下
展开
-
Mesos(分布式资源调度引擎)
Mesos(分布式资源调度引擎)Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的,后在Twitter得到广泛使用。Mesos是使用与Linux内核相同的原理构建的,只是在不同的抽象级别上。Mesos内核在每台机器上运行,并为应用程序(例如Hadoop,Spark,Kafka,Elasticsearch)提供API,用于在整个数据中心和云环境中进行资源管理和调度。1、核心组件Mesos-masterMeso原创 2020-06-12 17:30:03 · 1944 阅读 · 0 评论 -
MapReduce(分布式数据计算模型)
MapReduce(分布式数据计算模型)MapReduce是一种计算模型,用以进行大数据量的计算。Hadoop的MapReduce实现,和Common、HDFS一起,构成了Hadoop发展初期的三个组件。MapReduce将应用划分为Map和Reduce两个步骤,其中Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果。MapReduce这样的功能划分,非常适合在大量计算机组成的分布式并行环境里进行数据处理。我们原创 2020-06-12 17:26:41 · 2694 阅读 · 0 评论 -
Mahout(机器学习引擎)
Mahout(机器学习引擎)Mahout起源于2008年,最初是ApacheLucent的子项目,它在极短的时间内取得了长足的发展,现在是Apache的顶级项目。Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎(协同过滤)和频繁集挖掘等广泛使用的数据挖掘方法。除了算法,Mahout还包含数据的输入/输出工具、与其他存储系统(如数据库、MongoDB或Cassandra)集成等数据挖掘支持架构原创 2020-06-12 17:25:15 · 1551 阅读 · 0 评论