![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
软件-分布式计算
Hanson.
ICT产业革命
展开
-
四个分布式计算框架MapReduce/Tez/Spark/Storm异同
NOSQL数据仓库之MapReduceSparkStormTez四个框架的异同离线计算框架,MapReduce是一种将一个算法抽象成Map和Reduce两个阶段进行处理,非常适合数据密集型计算。内存计算框架,Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘计算框架,而Spark则是一种内存计算框架,它将数据尽可能放到内存中以提...原创 2019-08-22 23:41:57 · 825 阅读 · 0 评论 -
大数据(分布式计算框架+分布式存储)
https://blog.csdn.net/SmartShylyBoy/article/details/82424726 解析spark和mapReduce的区别和优劣https://blog.csdn.net/DonviYang/article/details/82990964初学大数据(主要介绍分布式存储)http://www.elecfans.com/consume/695431...原创 2019-07-05 00:23:19 · 3886 阅读 · 0 评论 -
NOSQL数据仓库:全文检索 Elasticsearch与Solr
一、Elasticsearch数据库数据存储的最小单位是文档,本质上是一个JSON 文本。采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具,通过http接口使用JSON格式进行操作数据。高可用:在一个集群的多个节点中进行分布式存储,索引支持shards和复制,即使部分节点down掉,也能自动进行数据恢复和主从切换。二、使用场景2.1 搜索引擎数据量...原创 2019-08-15 17:06:19 · 556 阅读 · 0 评论 -
Hadoop生态地图/Google三大核心技术:GFS(HDFS实现),bigtable(Hbase实现),MapReduce
1.1 分布式文件系统Hadoop Distributed File System(HDFS)之前有DFS,作为GFS的一个最重要的实现,HDFS设计目标和GFS是高度一致的。2.1 分布式离线计算框架(第一代) 1.0Hadoop MapReduce2.2 分布式离线计算框架(第一代) 2.0Hadoop YARN3.1 分布式NOSQL数据仓库Pig/HiveM...原创 2019-08-22 17:55:11 · 2074 阅读 · 0 评论 -
NOSQL数据仓库: 分布式离线计算框架Hadoop MapReduce/Yarn
NOSQL数据仓库之离线计算框架MapReduce(Yarn)一、MapReducehttps://www.cnblogs.com/laowangc/p/8961946.htmlhadoop学习笔记(十):MapReduce工作原理(重点)二、Yarnhadoop1.x中负责资源和作业调度的是MapReduce,hadoop2.x版本后,MapReduce...原创 2019-08-22 17:24:30 · 282 阅读 · 0 评论