大数据
xiaoyida11
这个作者很懒,什么都没留下…
展开
-
ES--索引、分片、节点、集群等概念浅析
FAQ1.为什么一个分片只能存放 Integer.MAX_VALUE - 128 = 2,147,483,519 个 docs?索引一般意义上的索引是一种基于文档(数据)生成、建立的,用于快速定位指定文档的工具。而 ElasticSearch 对索引的定义有所不同,ElasticSearch 中的索引对应 MySQL 中的 Database ,也就说 ElasticSearch 中的索引更像是一种数据存储集合,即用于存储文档。ElasticSearch 中的数...转载 2020-07-01 14:20:43 · 2851 阅读 · 0 评论 -
我是如何向老婆解释MapReduce的?
本文由 伯乐在线 - 伯乐在线读者 翻译。未经许可,禁止转载!英文出处:Shekhar Gulati。欢迎加入翻译组。昨天,我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利,听众们都能够理解MapReduce的概念(根据他们的反馈)。我成功地向技术听众们(主要是Java程序员,一些Flex程序员和少数的测试人员)解释了MapReduce的概念,这让我感到转载 2017-03-01 18:27:35 · 642 阅读 · 0 评论 -
分布式系统的特点以及设计理念
分布式系统并不是什么新鲜词,在上个世纪七八十年代就已经有各种分布式系统出现。只是在互联网时代,分布式系统才大放异彩,尤其是Google更是把分布式系统运用到了极致。Google整个的软件构架都是基于各种各样的分布式系统,诸如Borg、MapReduce、BigTable等。正是这些分布式系统,使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark、Me转载 2017-03-02 17:43:18 · 375 阅读 · 0 评论 -
kafka 工作原理介绍
消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息,对应用提供公共的信息交换机制是重要的。常转载 2017-07-18 13:55:15 · 516 阅读 · 0 评论 -
ElasticSearch学习-基本概念
以下内容整理学习自网络。es与关系型数据库的类比,便于理解:Relational DB ⇒ Databases ⇒ Tables ⇒ Rows ⇒ ColumnsElasticsearch ⇒ Indices ⇒ Types ⇒ Documents ⇒ Fieldshttps://pic1.zhimg.com/852fc8dbb2202cc228b105e5d6feed原创 2017-12-19 16:07:17 · 357 阅读 · 0 评论