大数据
程序员界
这个作者很懒,什么都没留下…
展开
-
架构成长之路:分布式系统如何设计,看看Elasticsearch是怎么做的
分布式系统类型多,涉及面非常广,不同类型的系统有不同的特点,批量计算和实时计算就差别非常大。这篇文章中,重点会讨论下分布式数据系统的设计,比如分布式存储系统,分布式搜索系统,分布式分析系统等。我们先来简单看下Elasticsearch的架构。Elasticsearch 集群架构Elasticsearch是一个非常著名的开源搜索和分析系统,目前被广泛应用于互联网多种领域中,尤其是以下三个领域特别突出。一是搜索领域,相对于solr,真正的后起之秀,成为很多搜索系统的不二之选。二是Json文档数据库,原创 2020-09-10 22:33:36 · 150 阅读 · 0 评论 -
Kafka为什么能那么快?高效读写数据,原来是这样做到的
无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存到 broker,二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了,下面我们就聊聊 Kafka 快的原因。1. 利用 Partition 实现并行处理我们都知道 Kafka 是一个 Pub-Sub 的消息系统,无论是发布还是订阅,都要指定 Topic。Topic 只是一个逻辑的概念。每个 Topic 都包含一个或多个 .原创 2020-09-08 14:56:57 · 674 阅读 · 1 评论 -
6个针对MySQL大数据量分页查询优化的锦囊妙计
方法1: 直接使用数据库提供的SQL语句语句样式: MySQL中,可用如下方法:SELECT * FROM 表名称 LIMIT M,N适应场景: 适用于数据量较少的情况(元组百/千级)原因 / 缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余抛弃.方法2: 建立主键或唯一索引, 利用索引(假设每页10条)语句样式:MySQL中,可用如下方法:MyS...原创 2020-09-03 13:24:15 · 262 阅读 · 0 评论 -
架构成长之路:Kafka设计原理看了又忘,忘了又看?一文让你掌握
今天,我将围绕如下几个问题进行分享:为什么需要消息系统? Kafka 架构原理? Kafka 如何存储消息? Producer 如何发送消息? Consumer 如何消费消息? Offset 如何保存? 消息系统可能遇到哪些问题?为什么需要消息系统?削峰数据库的处理能力是有限的,在峰值期,过多的请求落到后台,一旦超过系统的处理能力,可能会使系统挂掉。如上图所示,系统的处理能力是 2k/s,MQ 处理能力是 8k/s,峰值请求 5k/s,MQ 的处理能力远远大于数据库,.原创 2020-09-03 13:16:46 · 386 阅读 · 0 评论 -
干货:如果再有人问你数据库的原理,把这篇文章给他
一提到关系型数据库,我禁不住想:有些东西被忽视了。关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata 。但很少有文章讲解数据库是如何工作的。你可以自己谷歌/百度一下『关系型数据库原理』,看看结果多么的稀少 ,而且找到的那些文章都很短。现在如果你查找最近时髦的技术(大数据、NoSQL或JavaScript),你能找到更多深入探讨它们如何工作的文章。难道关系型数据库已经太古老太无趣,除了大学教材、研究文献和书籍以外,没人愿意讲了吗?作为一个开发人员,我不喜欢.原创 2020-07-17 13:11:15 · 487 阅读 · 0 评论 -
阿里P9资深专家的经验总结,写给还在迷茫期的朋友
前言很多年前,刚刚从大学毕业的时候,很多公司来校招。其中最烂俗的一个面试问题是:“你希望你之后三到五年的发展是什么?”。我当时的标准回答是(原话):“成为在某一方面能够独当一面的技术专家“。后来经历了几家不同的公司,换了不同的方向,才知道这个真是一个很难的问题。因为兵无常势,什么东西都是在不断的变化,一早的时候看好的东西可能会被淘汰。(几乎)没有人能够看准技术的下一个方向,因为这个问题实在是太难了,能够做到这一点的你就成为了技术界的巴菲特了。比如说11年加入Google,14年加入Facebook,原创 2020-07-16 16:06:33 · 1041 阅读 · 0 评论 -
阿里P8主管每天抱着一本MySQL运维内参,借来看了两天,我涨薪了
前言本书是一本介绍MySQL数据库知识的专业书籍,从核心原理到最佳实践,深入浅出、抽丝剥茧地进行讲解,不仅从源码和运维两个角度介绍了MySQL大部分重要概念和运维要点,还讲述了MySQL极为优秀的集群组件Galera的实现原理和运维经验,同时,也介绍了MySQL审核系统Inception的设计、实现与功能。本书不仅可以作为技术管理者和架构师在设计MySQL相关应用和系统时的参考,还适合MySQL应用开发者更深入地了解和使用MySQL。最后,作为MySQL DBA的必备参考,希望能在实际工...原创 2020-07-14 20:09:48 · 274 阅读 · 0 评论