- 博客(27)
- 收藏
- 关注
RSS订阅转载 mysql galera多主集群
1.特性基于行复制的完全并行同步复制实时多主架构，任意节点可读写无延迟复制，事务零丢失，可靠健壮的读写体验。自动化节点关系控制：节点故障自动摘除，节点加入自动协调接近原生的MySQL数据库连接的体验2.应用percona分支的PXC集群，Maria分支的MariaDB Cluster集群3.原理简析当一个事务在当前写入的节点提交后，通过wsrep API（write set ...
2019-09-09 22:22:59
293
转载 kubelet创建容器的流程分析
kubelet发起创建命令到真正创建容器并启动容器的过程流程内容分析kubelet通过gRPC调用dockershim发起创建容器，CRI即容器运行时接口(container runtime interface)，目前dockershim的代码内嵌在kubele中，所以接受创建容器的就是kubelet进程。dockershim把创建容器的命令转换成docker daemon可...
2019-09-07 18:41:14
497
转载 filebeat采集docker的syslog日志
docker的日志采集，首先需要了解docker的日志驱动类型1.json-file 日志格式为json。默认的日志驱动 2.none 不生产日志3.syslog 将日志写入到syslog中，该syslog守护程序必须在主机上运行4.local 日志自定义格式存储，实现最小开销5.journald 将日志写入journald中这几...
2019-09-07 11:37:21
1757
转载 AD域服务及搭建
博客地址：http://www.moonxy.com一、前言1.1 AD 域服务什么是目录（directory）呢？日常生活中使用的电话薄内记录着亲朋好友的姓名、电话与地址等数据，它就是 telephone directory（电话目录）；计算机中的文件系统（file system）内记录着文件的文件名、大小与日期等数据，它就是 file directory（文件目录）。如果...
2019-09-05 15:44:52
673
转载 正则表达式清理日志
字段提取中正则表达式的使用：提取日志中的信息格式：(?<字段名称>匹配具体信息的正则表达式)日志样例：<78> 2019-08-21T17:10:01.461970+08:00 localhost CROND: (root) CMD (/usr/lib64/sa/sa1 1 1)正则表达式\<(?<prl>\d+)\>\s+(?<time...
2019-08-21 22:40:46
217
转载 elasticsearch的doc_values
Doc Values 是什么其实大部分 NoSQL在创建多个索引的时候也采用这种方式，就是再使用另一种方式存储一份文本，使得可以增强搜索。 Docvalues 通过转置两者间的关系来解决这个问题。倒排索引将词项映射到包含它们的文档， Docvalues 将文档映射到它们包含的词项：DocTerms------------------------------...
2019-08-17 00:13:30
649
转载 Linux 正则、扩展正则
基础正则表达式：^ 以什么什么开头 ^m$ 以什么什么结尾 m$ ，还表示空行，或空格，可以用cat -An 试一下^$ 空行 什么符号都没有. 表示任意 “一个字符”\ 转义字符不解析特殊符号的含义 ， \n 相当于回车键 ， \t 相当于tab键* 表示前一个字符连续出现了0次或0次以上.* 表示任意字符，包括空行，正则表达式表示所有或连续...
2019-08-16 21:16:34
157
转载 elasticsearch为什么只能分配最大内存32G
elasticsearch分配内存的方式：1、设置变量的方式: export ES_HEAP_SIZE=32G 该方式比较好2、启动es时添加启动差数: -Xmx 32G -Xms 32G ,Xmx和Xms的大小最好一样，防止程序在运行时改变大小。es最大分配32G内存的原因：1、内存对于Elasticse...
2019-08-14 22:27:14
3729
转载 jenkins的pipeline基本语法
一、引言 Jenkins 2.0的到来，pipline进入了视野，jenkins2.0的核心特性. 也是最适合持续交付的feature。 简单的来说，就是把Jenkins1.0版本中，Project中的相关配置信息，如SVN/Git的配置，Parameter的配置等都变成Code，即Pipeline as Code。 随着pipeline交付流水线在团队中的推广，使用p...
2019-08-11 23:57:58
293
转载 jenkins + pipeline构建自动化部署
一、引言 Jenkins 2.x的精髓是Pipeline as Code，那为什么要用Pipeline呢？jenkins1.0也能实现自动化构建，但Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程，形成流水式发布，构建步骤视图化。简单来说，Pip...
2019-08-11 23:37:03
189
转载 docker的ovrelay覆盖网络
docker overlay网络驱动程序overlay网络驱动程序在多个docke程序主机之间创建分布式网络，允许连接到网络的容器之间的安全的通信。初始化swarm或者docker主机加入swarm集群时，会在该docker主机上创建两个新网络:1. 覆盖网络ingress ，处理与集群服务相关的控制和数据流量(集群中的负载均衡中有使用到)，创建服务时，如果没有指定连...
2019-08-11 10:23:40
173
转载 docker的服务发现和负载均衡
1.使用DNS进行服务发下 docker引擎据由内部的DNS服务器，可以为用户定义的网桥(network)、覆盖网络igressoverla(ovelay)、macvlan网络中主机上的所有容器提供名称解析。 每个容器内都有一个NDS解析器，将dns查询结果转发到docker引擎(docker守护程序)，该引擎充当dns服务器。docker引擎检查dns查询是属于容器还是属于...
2019-08-11 10:21:46
324
转载 prometheus监控docker
Prometheus是一个开源系统监控和警报工具包。可以将Docker配置为Prometheus目标。目前，您只能监控Docker本身。您目前无法使用Docker目标监控应用程序。监控docker的操作步骤:1.使用docker的metrics-address向Prometheus暴露监控端口：修改docker的daemon.json文件{"me...
2019-08-05 22:35:01
1469
转载 docker的overlay2存储文件系统
docker支持多种graphDriver(联合文件系统)，包括vfs，deviceMapper，overlay，overlay2，aufs等，其中最常用的是aufs，但随着linux内核3.18把overlay纳入其中后，overlay的地位就变得更换重，目前的docker默认的存储是哦verlay2，其速度更快，实现更简单。查看docker使用的存储文件系统；docker...
2019-07-29 23:31:23
3576
转载 零拷贝技术(zero-copy)
传统读操作JAVA用传统方式进行读操作时，整体流程如上图，具体如下：1、应用程序发起读数据操作，JVM会发起read()系统调用。2、这时操作系统OS会进行一次上下文切换（把用户空间切换到内核空间）3、通过磁盘控制器把数据copy到内核缓冲区中，这里的就发生了一次DMA Copy4、然后内核将数据copy到用户空间的应用缓冲区中，发生了一次CPU Copy5、read调用返回...
2019-07-29 23:29:57
282
转载 docker存储的清理和迁移
0 du -hs /var/lib/docker/ 命令查看磁盘使用情况。linlf@dacent:~$ sudo du -hs /var/lib/docker/237G /var/lib/docker/1 docker system df命令，类似于Linux上的df命令，用于查看Docker的磁盘使用情况:linlf@dacent:~$ docker system df...
2019-07-29 23:28:28
143
转载 私有镜像仓库Harbor
1、Harbor概述Habor是由VMWare公司开源的容器镜像仓库。事实上，Habor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包括：管理用户界面，基于角色的访问控制 ，AD/LDAP集成以及审计日志等，足以满足基本企业需求。官方地址：https://vmware.github.io/harbor/cn/各组件功...
2019-07-27 22:13:28
190
转载 iscsi的multipath配置
iSCSI简介iSCSI（Internet Small Computer System Interface，发音为/аɪskʌzi/），Internet小型计算机系统接口，又称为IP-SAN，是一种基于因特网及SCSI-3协议下的存储技术，由IETF提出，并于2003年2月11日成为正式的标准。iSCSI是一种基于TCP/IP 的协议，用来建立和管理IP存储设备、主机和客户机...
2019-07-19 22:00:14
1024
转载 Logstash Grok数据结构化ETL实战
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用Elastic Stack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELK Sta...
2019-07-17 21:40:42
204
转载 kafka为什么那个快？
kafka是一个高吞吐速度的消息中间件，可以部署在廉价的主机上。速度快的原因有两个:1.从写数据方面:写入的数据按顺序写入到磁盘;memory mapped files磁盘读写的快慢取决于你怎么使用它，写入的时候可以选择顺序写入和随机写入，kafka选择的时顺序写入机制，该机制的读写速度和内存的速度基本持平使用顺序写入的好处:1.磁盘顺序写入的速度比内存随机速度快2.在内存中...
2019-07-15 20:14:28
88
转载 kfafka的特性分析
1、kafka是什么类JMS消息队列，结合JMS中的两种模式（点对点模型，发布者/订阅者模型），可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。数据的分发策略由producer决定，默认是defaultPartition Utils.ab...
2019-07-15 19:48:21
332
转载 SND技术原理介绍
软件定义网络（ SDN）是一种软件集中控制、网络开放的三层体系架构，如图（1）所示。应用层实现对网络业务的呈现和网络模型的抽象；控制层实现网络操作系统功能，集中管理网络资源；转发层实现分组交换功能。应用层与控制层之间的北向接口是网络开放的核心，控制层的产生实现了控制面与转发面的分离，是集中控制的基础。SDN最主要的特征就是数据转发和控制分离, 同时还具有网络虚拟化和开放接口等...
2019-07-15 17:27:01
4600
转载 为什么那么多大公司喜欢用Codis来管理redis分布式集群？
Redis 集群，顾名思义就是使用多个 Redis 节点构成的集群，从而满足在数据量和并发数大的业务需求。在单个 Redis 的节点实例下，存储的数据量大和高并发的情况下，内存很容易就暴涨。同时，一个 Redis 的节点，内存也是受限的，两个原因，一个是内存过大，在进行数据同步的时候，全量同步的时候会导致时间过长，会增加同步失败的风险；另一个原因就是一般的 Redis 都是部...
2019-07-09 21:35:10
339
转载 linux io 模型讲解
在正式开始讲Linux IO模型前，比如：同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。1 概念说明在进行解释之前，首先要说明几个概念：用户空间和内核空间进程切换进程的阻塞文件描述符缓存 IO1.1 用户空间与内核空间现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址...
2019-07-01 01:37:46
77
转载 Elasticsearch中数据是如何存储的
前言很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下El...
2019-06-24 18:05:20
309
转载 Elasticsearch translog文件介绍
这篇文章主要介绍Elasticsearch的索引工作机制,它是如何利用translog来保证数据的安全,以及我们在生产环境中如何优化translog的参数来最大化性能,主要会介绍到elastic中常见的2个操作:refresh和flush，以及这2个接口是如何保证数据能够被检索到的。数据持久化我们把数据写到磁盘后,还要调用fsync才能把数据刷到磁盘中,如果不这样做在系统掉电...
2019-06-22 20:36:04
1793
转载 elasticsearch 事务日志translog
translog是elasticsearch的事务日志文件，它记录了所有对索引分片的事务操作（add/update/delete），每个分片对应一个translog文件。干嘛用的？translog是用来恢复数据的。Es用“后写”的套路来加快写入速度 — 写入的索引并没有实时落盘到索引文件，而是先双写到内存和translog文件，es存储数据时，先把输出存储在内存中，等到ref...
2019-06-22 19:55:52
1057
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人