bodouer7979的博客

一、引言　　Jenkins 2.0的到来，pipline进入了视野，jenkins2.0的核心特性. 也是最适合持续交付的feature。　　简单的来说，就是把Jenkins1.0版本中，Project中的相关配置信息，如SVN/Git的配置，Parameter的配置等都变成Code，即Pipeline as Code。　　随着pipeline交付流水线在团队中的推广，使用p...

一、引言 Jenkins 2.x的精髓是Pipeline as Code，那为什么要用Pipeline呢？jenkins1.0也能实现自动化构建，但Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程，形成流水式发布，构建步骤视图化。简单来说，Pip...

1.使用DNS进行服务发下 docker引擎据由内部的DNS服务器，可以为用户定义的网桥(network)、覆盖网络igressoverla(ovelay)、macvlan网络中主机上的所有容器提供名称解析。 每个容器内都有一个NDS解析器，将dns查询结果转发到docker引擎(docker守护程序)，该引擎充当dns服务器。docker引擎检查dns查询是属于容器还是属于...

Prometheus是一个开源系统监控和警报工具包。可以将Docker配置为Prometheus目标。目前，您只能监控Docker本身。您目前无法使用Docker目标监控应用程序。监控docker的操作步骤:1.使用docker的metrics-address向Prometheus暴露监控端口：修改docker的daemon.json文件{"me...

传统读操作JAVA用传统方式进行读操作时，整体流程如上图，具体如下：1、应用程序发起读数据操作，JVM会发起read()系统调用。2、这时操作系统OS会进行一次上下文切换（把用户空间切换到内核空间）3、通过磁盘控制器把数据copy到内核缓冲区中，这里的就发生了一次DMA Copy4、然后内核将数据copy到用户空间的应用缓冲区中，发生了一次CPU Copy5、read调用返回...

Doc Values 是什么其实大部分 NoSQL在创建多个索引的时候也采用这种方式，就是再使用另一种方式存储一份文本，使得可以增强搜索。 Docvalues 通过转置两者间的关系来解决这个问题。倒排索引将词项映射到包含它们的文档， Docvalues 将文档映射到它们包含的词项：DocTerms------------------------------...

0 du -hs /var/lib/docker/ 命令查看磁盘使用情况。linlf@dacent:~$ sudo du -hs /var/lib/docker/237G /var/lib/docker/1 docker system df命令，类似于Linux上的df命令，用于查看Docker的磁盘使用情况:linlf@dacent:~$ docker system df...

基础正则表达式：^ 以什么什么开头 ^m$ 以什么什么结尾 m$ ，还表示空行，或空格，可以用cat -An 试一下^$ 空行 什么符号都没有. 表示任意 “一个字符”\ 转义字符不解析特殊符号的含义 ，
相当于回车键 ， \t 相当于tab键* 表示前一个字符连续出现了0次或0次以上.* 表示任意字符，包括空行，正则表达式表示所有或连续...

Redis 集群，顾名思义就是使用多个 Redis 节点构成的集群，从而满足在数据量和并发数大的业务需求。在单个 Redis 的节点实例下，存储的数据量大和高并发的情况下，内存很容易就暴涨。同时，一个 Redis 的节点，内存也是受限的，两个原因，一个是内存过大，在进行数据同步的时候，全量同步的时候会导致时间过长，会增加同步失败的风险；另一个原因就是一般的 Redis 都是部...

iSCSI简介iSCSI（Internet Small Computer System Interface，发音为/аɪskʌzi/），Internet小型计算机系统接口，又称为IP-SAN，是一种基于因特网及SCSI-3协议下的存储技术，由IETF提出，并于2003年2月11日成为正式的标准。iSCSI是一种基于TCP/IP 的协议，用来建立和管理IP存储设备、主机和客户机...

elasticsearch分配内存的方式：1、设置变量的方式: export ES_HEAP_SIZE=32G 该方式比较好2、启动es时添加启动差数: -Xmx 32G -Xms 32G ,Xmx和Xms的大小最好一样，防止程序在运行时改变大小。es最大分配32G内存的原因：1、内存对于Elasticse...

1、kafka是什么类JMS消息队列，结合JMS中的两种模式（点对点模型，发布者/订阅者模型），可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。数据的分发策略由producer决定，默认是defaultPartition Utils.ab...

docker overlay网络驱动程序overlay网络驱动程序在多个docke程序主机之间创建分布式网络，允许连接到网络的容器之间的安全的通信。初始化swarm或者docker主机加入swarm集群时，会在该docker主机上创建两个新网络:1. 覆盖网络ingress ，处理与集群服务相关的控制和数据流量(集群中的负载均衡中有使用到)，创建服务时，如果没有指定连...

docker支持多种graphDriver(联合文件系统)，包括vfs，deviceMapper，overlay，overlay2，aufs等，其中最常用的是aufs，但随着linux内核3.18把overlay纳入其中后，overlay的地位就变得更换重，目前的docker默认的存储是哦verlay2，其速度更快，实现更简单。查看docker使用的存储文件系统；docker...

1、Harbor概述Habor是由VMWare公司开源的容器镜像仓库。事实上，Habor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包括：管理用户界面，基于角色的访问控制 ，AD/LDAP集成以及审计日志等，足以满足基本企业需求。官方地址：https://vmware.github.io/harbor/cn/各组件功...

1.特性基于行复制的完全并行同步复制实时多主架构，任意节点可读写无延迟复制，事务零丢失，可靠健壮的读写体验。自动化节点关系控制：节点故障自动摘除，节点加入自动协调接近原生的MySQL数据库连接的体验2.应用percona分支的PXC集群，Maria分支的MariaDB Cluster集群3.原理简析当一个事务在当前写入的节点提交后，通过wsrep API（write set ...

0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用Elastic Stack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELK Sta...

kafka是一个高吞吐速度的消息中间件，可以部署在廉价的主机上。速度快的原因有两个:1.从写数据方面:写入的数据按顺序写入到磁盘;memory mapped files磁盘读写的快慢取决于你怎么使用它，写入的时候可以选择顺序写入和随机写入，kafka选择的时顺序写入机制，该机制的读写速度和内存的速度基本持平使用顺序写入的好处:1.磁盘顺序写入的速度比内存随机速度快2.在内存中...

前言很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下El...

软件定义网络（ SDN）是一种软件集中控制、网络开放的三层体系架构，如图（1）所示。应用层实现对网络业务的呈现和网络模型的抽象；控制层实现网络操作系统功能，集中管理网络资源；转发层实现分组交换功能。应用层与控制层之间的北向接口是网络开放的核心，控制层的产生实现了控制面与转发面的分离，是集中控制的基础。SDN最主要的特征就是数据转发和控制分离, 同时还具有网络虚拟化和开放接口等...