2019年12月_蒙奇·D·路飞-

12月 11月 10月 07月 06月 05月 04月 02月

原创使用canal实现增量同步MySQL的数据到ES

搭建环境操作系统： CentOS release 6.5 (Final) MySQL版本： 10.0.33-MariaDB-wsrep JDK版本：1.8（强力要求，否则会导致ES和canal-adapter无法启动） ElasticSearch版本：6.8.0 canal版本： 1.1.3 zookeeper技术方案概览开启MySQL的binary log日志记录修改My...

2019-12-27 17:30:57 1429

转载阿里开源Canal简介

canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量...

2019-12-27 17:21:58 707 1

转载 Kubeadm安装Kubernetes1.16.2集群

Kubernetes从1.4版本开始后就引入了kubeadm用于简化集群搭建的过程，在Kubernetes 1.13版本中，kubeadm工具进入GA阶段，可用于生产环境Kubernetes集群搭建。本节将使用Kubeadm搭建Kubernetes1.16.2集群，宿主机采用3台Vagrant构建的Centos7虚拟机，配置如下所示（Kubernetes推荐宿主机最低内存不能低于2G，CPU核心数...

2019-12-09 17:27:55 371

转载 IDEA中使用Docker插件

在Windows上如果没有安装docker for windows的话，是没办法构建Docker镜像的。这种情况下，如果要通过fat jar构建docker镜像的话，只能将fat jar上传到安装了docker服务的Linux服务器上，然后编写Dockerfile构建。这种方式比较麻烦，这里记录下如何通过IDEA的Docker插件远程构建Docker镜像。Docker开启远程访问假如我在C...

2019-12-09 17:25:14 282

转载 CI/CD实践笔记

CICD（ContinuousIntegration/ContinuousDeployment），持续集成持续部署的意思。完成CICD实践需要Kubernetes集群，Harbor，GitLab和Jenkins等软件配合完成，在前面几篇博客中，我已经搭建好了Kubernetes集群，并且在master节点（192.168.33.11,CentOS）上安装好了Harbor、GitLab和Jenk...

2019-12-09 17:23:50 1265 1

转载 GitLab & Jenkins安装小记

在CentOS下安装GitLab和Jenkins。安装GitLab传统方式安装GitLab比较麻烦，所以这里我们使用Docker安装GitLab，拉取官方镜像： 1 docker pull gitlab/gitlab-ce:latest 镜像有点大，耐心等待。拉取好后，编写一个启动脚本： 12345678...

2019-12-09 17:22:04 276

转载 Kubernetes基础

上一节我们已经成功搭建了Kubernetes集群，Kubernetes包含了大量的概念和术语，比如Master、Node、Pod、Replication Controller、Service等等，在深入学习Kubernetes之前，有必要捋清Kubernetes架构设计和这些术语的含义。Kubernetes架构Kubernetes基本架构如下图所示：由上图我们可以看出，Kube...

2019-12-09 17:19:06 274

转载 Kubernetes1.16.2安装Dashboard

Kubernetes Dashboard是Kubernetes提供的Web用户界面，通过Dashboard我们可以将容器化的应用部署到Kubernetes集群中，对容器化的应用进行故障排除以及集群资源管理；可以通过Dashboard查看集群应用详情，创建或修改单个Kubernetes资源（例如Deployments，Jobs，DaemonSets等）。安装Dashboard上节我们搭建的K...

2019-12-09 17:17:49 600