MayMatrix-CSDN博客

转载 Kafka 原理：深入理解架构

本文主要讲解 Kafka 是什么、Kafka 的架构包括工作流程和存储机制，以及生产者和消费者，最终大家会掌握 Kafka 中最重要的概念，分别是 broker、producer、consumer、consumer group、topic、partition、replica、leader、follower，这是学会和理解 Kafka 的基础和必备内容。1. 定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。1.1 消息队列..

2020-05-12 13:59:06 249

转载分布式定时任务调度框架选型

分布式定时任务调度框架选型背景业务场景定期执行任务：如每天0点做资源稽查；需求和痛点集群部署服务时，如何确保任务不被重复执行？---最急迫如何监控、告警等；高可用、无单点故障；优秀的并行处理能力、分片能力；自研 or 开源任何工具的使用都要结合自身的业务场景，脱落业务场景谈技术选型就是耍流氓。考虑私有云场景业务量一般，高并发场景很少遇到，同一时间也不会有超...

2020-05-08 16:44:41 993 2

转载 RabbitMQ之消息确认机制（事务+Confirm）

概述在使用RabbitMQ的时候，我们可以通过消息持久化操作来解决因为服务器的异常奔溃导致的消息丢失，除此之外我们还会遇到一个问题，当消息的发布者在将消息发送出去之后，消息到底有没有正确到达broker代理服务器呢？如果不进行特殊配置的话，默认情况下发布操作是不会返回任何信息给生产者的，也就是默认情况下我们的生产者是不知道消息有没有正确到达broker的，如果在消息到达broker之前已经丢失...

2020-05-08 11:20:54 1099

转载理解linux cpu load - 什么时候应该担心了

译文原文: http://blog.scoutapp.com/articles/2009/07/31/understanding-load-averages你可能已经很熟悉linux的平均load. 平均load是3个数 (可以用uptime或者top命令查看), 他们看着像下面这样:load average: 0.09, 0.05, 0.011大多数人对这些数都有一个模糊的概念:三个数...

2020-05-08 10:29:37 282

转载 Java中HashMap底层原理源码分析

在介绍HashMap的同时，我会把它和HashTable以及ConcurrentHashMap的区别也说一下，不过本文主要是介绍HashMap，其实它们的原理差不多，都是数组加链表的形式存储数据，另外本文所介绍的都是JDK1.8版本的。在介绍之前，先看下Map家族的继承体系图：其中，TreeMap是基于树实现...

2020-05-07 21:31:09 187

转载 Lucene底层索引原理

　　基于Lucene检索引擎我们开发了自己的全文检索系统，承担起后台PB级、万亿条数据记录的检索工作，这里向大家分享下Lucene底层...

2020-04-29 17:53:32 403

转载 Lucene索引过程中内存管理与数据存储

Lucene的索引过程分两个阶段，第一阶段把文档索引到内存中；第二阶段，即内存满了，就把内存中的数据刷新到硬盘上。倒排索引信息在内存存储方式 Lucene有各种Field，比如StringField,Tex...

2020-04-29 17:44:57 841

转载 Lucene索引存储结构

内存管理与数据存储索引文档的总体结构索引（index）：Lucene的索引由许多个文件组成，这些文件放在同一个目录下段（segment）：一个Lucene的索引由多个段组成，段与段之间是独立的。添加新的文档时可以生成新的段，达到阈值（段的个数，段中包含的文件数等）时，不同的段可以合并。在文件夹下，具有相同前缀的文件属于同一个段segments...

2020-04-29 17:41:30 2489 1

转载 elasticsearch的核心概念、分布式特性

1、lucene和elasticsearch的前世今生lucene，最先进、功能最强大的搜索库，直接基于lucene开发，非常复杂，api复杂（实现一些简单的功能，写大量的java代码），需要深入理解原理（各种索引结构）elasticsearch，基于lucene，隐藏复杂性，提供简单易用的restful api接口、java api接口（还有其他语言的api接口）（1）分布式的文档存储引擎...

2020-04-26 10:52:00 288

转载 Lucene、solr以及elasticsearch之间的区别和联系

首先分别说明三者的概念：Lucene是一套信息检索工具包，并不包含搜索引擎系统，它包含了索引结构、读写索引工具、相关性工具、排序等功能，因此在使用Lucene时仍需要关注搜索引擎系统，例如数据获取、解析、分词等方面的东西。而solr和elasticsearch都是基于该工具包做的一些封装。Solr是一个有HT...

2020-04-26 10:08:20 1845

原创内存与硬盘读取速度对比

测试速度：https://diy.pconline.com.cn/556/5561296_2.html内存条品牌：红色威龙增强版DDR4 2666HMz（16-18-18-43-2T）测试成绩连续读取：L1CACHE大概是1700GB/s的水平L3CACHE 大概是200GB/s的水平DDR4内存大概是60GB/s的水平nvme ssd大概是2000MB/s的水平S...

2020-04-22 21:22:09 24348 2

转载内存的寻址、传输、存取时间与延迟原理介绍

　　现代的PC（包括NB）都是以存储器为核心的多总线结构，即CPU只通过存储总线与主存储器交换信息（先在Cache里找数据，如果找不到，再去主存找）。输入输出设备通过I/O总线直接与主存储器交换信息。在I/O设备和主存储器之间配置专用的I/O处理器。CPU不直接参与I/O设备与主存储器之间的信息传送。　　存储器分为内部存储器和外部存储器（或者叫主存储器和辅助存储器）。内部存储器简称内存，也可称为...

2020-04-22 21:07:47 5036

转载 MYSQL索引之B+Tree

首先，正确的创建合适的索引，是提升数据库查询性能的...

2020-04-17 14:07:29 213

转载 Elasticsearch倒排索引与B+Tree对比

如何快速检索？Elasticsearch 是通过 Lucene 的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在 18 和 30 之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的 b-tree 索引快在哪里？到底为什么快呢？笼统的来说，b-tree 索引是为写入优化的索引结构。当我们不需要支持快速的更新的时候，可以用预...

2020-04-17 12:02:30 4719 2

转载 Elasticsearch中的倒排索引详解

Elasticsearch创建索引流程一文中，介绍了ES创建索引的流程。再流程中是调用Lucene的接口来创建索引的。本篇文章主要介绍ES中的索引——倒排索引倒排索引是搜索引擎非常重要的一种数据结构，什么是倒排索引，倒排索引的原理是什么？1 索引过程在讲解倒排索引前，我们先了解索引创建，下图是 Elasticsearch 中数据索引过程的流程。从上图可以看到，文档未在 ES 中...

2020-04-17 11:58:29 5345

转载布隆过滤器的原理、使用场景和注意事项

什么是布隆过滤器本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。实现原理HashMap 的问题讲述布隆过滤器的...

2020-04-16 16:50:02 202

转载 BTree和B+Tree详解

B-Tree是平衡搜索多叉树。B+树索引是B+树在数据库中的一种实现，是最常见也是数据库中使用最为频繁的一种索引。B+树中的B代表平衡（balance），而不是二叉（binary），因为B+树是从最早的平衡二叉树演化而来的。在讲B+树之前必须先了解二叉查找树、平衡二叉树（AVLTree）和平衡多路查找树（B-Tree），B+树即由这些树逐步优化而来。树是数据结构基础知识，想要深...

2020-04-16 16:11:05 971

转载【算法基础】o(1), o(n), o(logn), o(nlogn)

由于平时接触算法比较少，今天看资料看到了o(1)，都不知道是什么意思，百度之后才知道是什么意思。描述算法复杂度时,常用o(1), o(n), o(logn), o(nlogn)表示对应算法的时间复杂度，是算法的时空复杂度的表示。不仅仅用于表示时间复杂度，也用于表示空间复杂度。O后面的括号中有一个函数，指明某个算法的耗时/耗空间与数据增长量之间的关系。其中的n代表输入数据...

2020-04-16 10:45:06 594

转载 Spring PropertyPlaceholderConfigurer 用法

PropertyPlaceholderConfigurer 用法一、PropertyPlaceholderConfigurer 的继承体系二、PropertyPlaceholderConfigurer 的基本概念三、PropertyPlaceholderConfigurer 的基本使用PropertyPlaceholderConfigurer 引入外部属性文件PropertyPlaceholder...

2020-04-10 19:09:14 1180

转载掌握这5个常用数据分析方法，做分析不再没思路

掌握这5个常用数据分析方法，做分析不再没思路原创数据分析不是个事儿2020-04-08 16:00:36想必做过数据分析的同学一定接触过很多分析方法，比如漏斗法，同期群，A/B测试等等。并且由于不同版本的演绎，造成了分析方法种类繁多，令人眼花缭乱，甚至高深莫测。其实真不用把分析方法看的太高大上了，所有的分析方法总结起来就两种：分类和对比，分类和对比，分类和对比，重要的事情说三遍，并且大...

2020-04-09 13:32:37 1934 1

转载 Elastic Stack7.2（ELK）日志系统简介及搭建

ELK系列文章：Elastic Stack（ELK）日志系统简介及搭建Elastic Stack（ELK）日志系统后续使用及问题解决kibana7.2添加登录及权限kibana监控logstash一、需求：在我们的项目中有日志是一个必不可少的东西，但是日志的检索是一个很麻烦的事情，如每天一个日志，要找到问题就得一个一个找，并不能做到检索功能，这还算好的，如果是分布式的，每个机器都得找一...

2020-04-09 11:11:32 322

转载基于ELK 7.50搭建elastalert 监控报警和权限控制

ELK+监控报警全步骤需求：公司要求对出在windows服务器上的日志进行日志分析并根据关键字进行报警，并配置kibana权限控制。下面为详细步骤环境： centos 7.6 elk版本7.50 （因为7.50版本自带xpack功能，可以满足kibana角色权限控制）1. windows字符集改成utf8#创建目录（有就不用创建）C:\WINDOWS\SHELLNEW#...

2020-04-09 11:03:50 1236

转载【ELK之logstash】 grok入门：自测实例+常用正则（grok-patterns）

一、背景研究了grok几天，虽然知识还是很浅薄，但还是在这里做个总结。场景在使用logstash进行日志收集工作的时候，filter是个很重要的插件，而其中的Grok能很好的解析日志。logstash教程：https://blog.csdn.net/qq_34646817/article/details/81232083grok教程：https://blog.csdn.net/q...

2020-03-13 18:44:23 2186

转载分布式一致性算法（二）Raft算法

一、更加直观的Raft算法Raft 适用于一个管理日志一致性的协议，相比于 Paxos 协议 Raft 更易于理解和去实现它。为了提高理解性，Raft 将一致性算法分为了几个部分，包括领导选取（leader selection）、日志复制（log replication）、安全（safety），并且使用了更强的一致性来减少了必须需要考虑的状态。1.解决什么问题分布式存储系统通常通过维...

2020-03-05 11:49:19 480

转载分布式一致性算法（一）Paxos算法

从分布式一致性到共识机制（一）Paxos算法从分布式系统的CAP理论出发，关注分布式一致性，以及区块链的共识问题及解决。区块链首先是一个大规模分布式系统，共识问题本质就是分布式系统的一致性问题，但是又有很大的不同。工程开发中，认为系统中存在故障（fault），但不存在恶意（corrupt）节点，而区块链，特别是公开链是落地到物理世界中，涉及到人性和利益关系，不可避免的存在信任以及恶意攻击...

2020-03-05 11:46:10 552

转载我必须得告诉大家的MySQL优化原理

掘金10.3k我必须得告诉大家的MySQL优化原理mysql发布于 2018-07-12约 38 分钟https://segmentfault.com/a/1190000015615179

2020-02-27 16:39:32 107

转载 TiDB 在 OPPO 准实时数据仓库中的实践

PingCAP1.3kTiDB 在 OPPO 准实时数据仓库中的实践数据库实时分布式发布于 1月6日约 24 分钟本文转载自微信公众号“OPPO大数据”。作者介绍：OPPO 数据分析与解决方案团队主要负责 OPPO 全集团的大数据分析和解决方案提供，团队成员多来自一线互联网公司及著名高校，在 OPPO 众多场景的大数据应用方面有很深经验，极大的支撑了业务迅速发展。...

2020-02-27 16:31:48 946

转载「分布式系统前沿技术」专题 | 微服务架构何去何从？

「分布式系统前沿技术」专题 | 微服务架构何去何从？数据库分布式分布式系统微服务发布于 2019-12-27约 15 分钟分布式技术的发展，深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末，PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题，邀请众多技术团队共同参与，一起探索这个古老领域的新生机。本文出自转转首席架构师孙玄。微服务架构模...

2020-02-27 16:26:17 272

转载 TiDB 的正确使用姿势

PingCAP1.3k10TiDB 的正确使用姿势mysqlsqlnosqlrustgithub发布于 2017-03-10约 10 分钟最近这几个月，特别是 TiDB RC1 发布后，越来越多的用户已经开始测试起来，也有很多朋友已经在生产环境中使用，我们这边也陆续的收到了很多用户的测试和使用反馈。非常感谢各位小伙伴和早期用户的厚爱，而且看了这么多场景...

2020-02-27 16:23:59 1550

转载吴镝：TiDB 在今日头条的实践

PingCAP1.3k2吴镝：TiDB 在今日头条的实践mysql更新于 2018-03-19约 12 分钟转存失败重新上传取消本文整理自今日头条数据库中间件/分布式数据库负责人吴镝（知乎 ID：吴镝）在TiDB DevCon2018 上的分享内容。TiDB 主要应用在今日头条核心 OLTP 系统 - 对象存储系统中，存储其中一部分元数据，支持头...

2020-02-27 16:20:06 234

转载 TiDB Best Practice

PingCAP1.3kTiDB Best Practicemysqlgithub发布于 2017-07-05约 17 分钟本文档用于总结在使用 TiDB 时候的一些最佳实践，主要涉及 SQL 使用、OLAP/OLTP 优化技巧，特别是一些 TiDB 专有的优化开关。建议先阅读讲解 TiDB 原理的三篇文章(讲存储，说计算，谈调度)，再来看这篇文章。前言数据库是一个通用...

2020-02-27 16:13:58 171

转载分布式数据库-TiDB应用场景简介

前言：最近公司要讨论分库分表，正好一起参加了培训。一般mysql单表数据库容量达到一定的极限，性能会急剧下降，之前工作的时候已经大佬们高喊几次了分库分表，但是最终没能实现或者落地的方案不佳。在这里一篇很好的文章指出了当前开源的分库分表的框架的不足，并介绍了使用TiDb作为新的分布式数据库的各种优点传送门。目前的常用的分库分表概述一种是中间件代理，例如mycat和sharding-proxy...

2020-02-27 15:53:52 1827

转载解决Linux虚拟机 /dev/mapper/centos-root爆满问题

最近查看自己的虚拟机磁盘使用情况时，发现/dev/mapper/centos-root 使用接近爆满状态，为了让虚拟机能够正常使用，故需要动态扩容来搞定。1.用df -h 查看磁盘使用情况，如下：2.首先使用lsof命令查看是否出现有文件被删除,而进程还活着,因而造成还占用空间的现象，具体命令如下：lsof | grep delete | awk -F ’ ’ ‘{ print $2}...

2020-02-18 21:30:10 9506 7

转载 TCP与UDP的区别

摘要：计算机网络基础引言网络协议是每个前端工程师都必须要掌握的知识，TCP/IP 中有两个具有代表性的传输层协议，分别是 TCP 和 UDP，本文将介绍下这两者以及它们之间的区别。一、TCP/IP网络模型计算机与网络设备要相互通信，双方就必须基于相同的方法。比如，如何探测到通信目标、由哪一边先发起通信、使用哪种语言进行通信、怎样结束通信等规则都需要事先确定。不同的硬件、操作系统之间...

2020-02-17 22:00:37 885

转载 OLAP、OLTP的介绍和比较

OLTP与OLAP的介绍数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易...

2020-02-17 13:17:36 182

转载什么是"零拷贝"技术

前言从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能；这个词我们也经常在java nio，netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点；下面从I/O的几个概念开始，进而在分析零拷贝。I/O概念1、缓冲区缓冲区是所有I/O的基础，I/O讲的无非就是把数据移进或移出缓冲区；进程执行I/O操作，就是向操作系统发出请求，让它要么把缓冲区的数...

2020-01-16 15:00:31 3488 1

转载大数据核心知识点：Hbase、Spark、Hive、MapReduce概念理解，特点及机制

一、Hbase1.1、Hbase是什么？HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。尽管已经有许多数据存储和访问的策略和实现方法，但事实上大多数解决方案，特别是一些关系类型的，在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分区的方法来扩充数据库使其突破单个节点的界限，但这些功能通常都是事后增加...

2020-01-16 12:36:31 641

转载 MapReduce工作流程和工作原理

MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduce函数，所以对其整体的计算过程不是太清楚，同时MapReduce1.0和MapReduce2.0在网上有很多人混淆。MapReduce1.0运行模型20170730014216035.pngInputInput但是输入文件的存储位置，...

2020-01-16 12:31:36 1376

转载 Flink的入门简介

一.Flink的引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大...

2020-01-16 10:13:51 278

转载 Flink 从 0 到 1 学习 —— Apache Flink 介绍

Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些聚合/转换/计算等操作，然后将计算后的结果与告警规则的阈值进行比较，然后做出相应的告警措施（钉钉群、邮件、短信、电话等）。画了个简单的图如...

2020-01-16 09:41:36 565