2019年08月_oneslide

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 MySQL Replication

所有更新都发生在master上，而读操作发生在slave上。这是一种功能解耦，从而使得master只专注于更新状态，slave可以从事实时数据分析，将master 读I/O负载分离出来同步方法二进制日志传统方法，slave请求master的二进制日志和位置全局事务ID (GTID)GTIDs(global transaction identifiers)不需要二进制日志，只要Ma...

2019-08-30 14:47:35 284

转载 gawk cheatsheet

原理按行处理，每行N个字段脚本简单执行一个脚本test.gawk#!/usr/bin/awk -f{print}# ./test.gawk 要处理的文本文件名命令行输出每行第一个，第二个字段gawk '{print $1 $2}' sample变量#当前已处理记录数gawk 'END { print "Input contains " NR " lin...

2019-08-28 16:39:43 172

原创 centos时钟同步

#指定时间服务器timeserver=ntp.sjtu.edu.cn#设定时区timedatectl set-timezone Asia/Shanghai#编辑配置文件sed -i 's/0.centos.pool.ntp.org/$timeserver/g' /etc/chrony.conf#重启时钟服务systemctl restart chronyd...

2019-08-28 13:38:10 1949

原创 Ansible

Ansible是自动化运维工具，通常在主从结构场景中应用。比如你现在有两台机器A,B，A是主，B是从。现在A,B都需要安装一个Java,那么得运行两次yum命令不是？Ansible只需要运行一次。其主要的原则就是从机需要做的越少越好，配置项全在master上。安装yum -y install ansible配置配置SSH免密登陆参考：SSH免密登陆不配置免密登陆的话，可以将主机...

2019-08-28 11:11:32 317

翻译 SSH免密登录

这个方法是单向的，实现此机器->免密机器的单向无密码登陆ssh-keygen -t rsa 指定RSA公私钥生成ssh root@免密机器IP mkdir -p .ssh 在免密登陆机器上新建.sshcat /root/.ssh/id_rsa.pub | ssh root@免密机器IP 'cat >> .ssh/authorized_keys' 公钥存放到...

2019-08-26 13:32:09 137

原创 Paxos

Paxos是一个较为基础的分布式算法。基本PaxosPhase 1：Prepare & PromiseProposer向全部Acceptors发送消息，消息内容是提议序列号，PrepareID；Acceptor收到消息，会比较上次接收的PrepareID,如果此消息中的提议序列号比较小，可以忽略或发送否认；如果比自己历史接收过的序列号大，就发送Promise，保证自己会在Prop...

2019-08-21 09:56:26 543

原创 Raft ---简易的分布一致性算法

什么是分布式一致性？假如整个系统只有一个节点，你可以认为节点是只能存一个整数值的数据库。客户端发送一个set 8,节点现在的值就是8。一致性在只有一个节点的时候能够得到很好的保证，但是当系统内有多个节点的时候，一致性的问题就出现了。Raft就是为了解决此类系统一致性的问题。Raft过程概览一个节点可以有三种状态：Leader ----分布式系统所有读写的入口Follower...

2019-08-20 15:12:32 470

翻译分布式日志----数据复制

翻译自：Building a Distributed Log from Scratch, Part 2: Data Replication分布式日志总是存在单点故障问题（SPOF）.如果写日志数据的机器挂掉，就完蛋了。考虑到系统的三大优先考虑的问题之一就是高可用（HA）,所以问题在于我们怎样实现高可用和容错机制。提到高可用，我们首先讨论读写的可持续性。任何一个系统不应该不考虑这个问题，至...

2019-08-20 11:49:49 315

翻译使用Docker Compose简化K8S配置

翻译自：Simplifying Kubernetes with Docker Compose and Friends今天我们很开心能够声明K8S平台上支持Docker Compose,之前这个功能只在Docker Enterprise版本（收费版）支持，现在你可以在开源K8S集群上使用这个功能。为什么有K8S还要用Docker Compose?Kubernetes API体量非常大，有超过...

2019-08-19 11:16:47 8799

原创 RabbitMQ消息传递语义及模型

调研RabbitMQ的消息传递模式，行为，模型。基本模型消息队列邮局解释：Exchange(交换器)是邮箱，Queue是目的地，Producer是寄件人。RoutingKey是寄件人填写的源地址，BindingKey是目的地址。队列和交换器的绑定模式有好几种，广播（fanout）,点对点（direct）,模糊匹配（topic）拉模式与推模式----主动方划分参考：消息模式–推模...

2019-08-16 16:00:00 690

原创 Maven

Cheatsheetmvn clean 清理构建文件mvn clean package 重新构建并打包mvn install 纳入本地仓库mvn clean test 清理并测试mvn help:system 查看系统变量Reference Listhttps://juejin.im/post/5a4a5e2bf265da4322418d7fhttps:...

2019-08-15 11:00:13 223

原创 Logback----SLF4J实现框架

slf4j抽象出应用的日志服务,底层实现可以是logback,log4j等，所有日志实现都可以通过org.slf4j.LoggerFactory API 去实现日志打印。logbacklogback实现了slf4j的API,可以通过XML或者groovy去配置日志的行为。...

2019-08-14 10:40:03 324

翻译 Frame of Reference and Roaring Bitmaps

While it may surprise you if you are new to search engine internals, one of the most important building blocks of a search engine is the ability to efficiently compress and quickly decode sorted lists...

2019-08-13 21:48:25 452

翻译 Deploying Microservices: Spring Cloud vs. Kubernetes

定位Spring Cloud和K8S

2019-08-13 11:40:35 374

翻译 K8S架构---节点

K8S Worker节点称为node.一个节点可以是一个物理机或者虚拟机。每个节点包含运行Pod的必要服务进程。这些服务包含容器运行时，kubelet和kube-proxy。节点状态节点状态包含四个方面AddressesConditionsCapacity and AllocatableInfo节点状态可以使用下面的命令查看：kubectl describe node <...

2019-08-12 16:22:41 3388

翻译 Kubernetes 对象

To work with Kubernetes, you use Kubernetes API objects to describe your cluster’s desired state: what applications or other workloads you want to run, what container images they use, the number of re...

2019-08-12 14:34:03 160

原创 Docker Image & Docker Hub

网络web的应用代码可以通过URL postgres://db:5432 连接到Postgres数据库。使用随便一个主机连接容器内的数据库使用：postgres://{DOCKER_IP}:8001服务间通信用的是CONTAINER_PORT，当HOST_PORT定义后，服务可以在集群（swarm）外被访问到。此例中HOST_PORT是8001。...

2019-08-12 11:38:31 615

翻译 JSR Validation

Constraints in Bean Validation are expressed via Java annotations.注解分成四大类：因为我只需要字段注解，所以重点整理！！！字段注解中重点介绍内置（built-in）注解，即校验框架预定义的注解。字段注解：@DecimalMax(value=, inclusive=)检测注解值是否小于指定max,当inclusive...

2019-08-07 17:31:16 174

原创 Docker 使用速记

镜像（Image）和容器（Container）的关系，就像是面向对象程序设计中的类和实例一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。...

2019-08-06 14:47:24 551 1

翻译 Kubernetes初识

总览传统部署时代：之前企业应用直接部署到装有操作系统的物理机上，没有办法定义资源边界，这会造成资源分配问题。比如，多个应用运行在一个物理机上。如果一个应用占据了大量资源，其他的应用性能就减低了。一个解决方案是在每个物理机上运行一个应用，但是资源利用率降低的时候没有办法伸缩。虚拟化部署时代：虚拟化之后被引入，允许多个虚拟机运行在一个服务器CPU上。虚拟化允许应用通过VM进行资源隔离，并且提供一...

2019-08-05 19:27:25 275