一粒菜鸟-CSDN博客

原创软考中级软件设计师备考经验分享

软考中级软件设计师备考经验分享前言还有两个多月软考考试就要开始了，趁这次机会将本人备考软件设计师的复习经验分享给大家，证书啥的无所谓，主要是有钱拿，拿本人所在城市来讲，初级1000，中级1500，高级2000，这样的羊毛怎么能不薅一下呢？考试介绍首先简单介绍一下软件设计师的考试形式考试上午下午各一场，上午为选择题（单选），下午是填空题选择题涉及范围比较广，我搜集网上资料整理了一份提纲，但是这部分个人感觉主要还是靠刷题下午共六道大题，形式为填空，题型非常固定，基本上刷刷往年题，理解思路之后，想过

2021-03-13 10:45:35 14969

原创 prometheus监控k8s集群系列之kube-state-metrics

前言前面我们已经介绍了通过cadvisor和node-exporter来监控k8s集群容器和主机资源，今天向大家介绍一下kube-state-metrics对k8s集群的监控，那它主要是监控哪些内容的呢？我们先看一下官方的介绍kube-state-metrics is a simple service that listens to the Kubernetes API server and generates metrics about the state of the objects. (See

2020-11-24 21:29:47 16551

原创 prometheus监控k8s集群系列之node-exporter篇

使用node-exporter监控k8s集群内主机资源简介prometheus监控服务器CPU、内存、磁盘、I/O等信息，可以使用node-exporter,在虚机或物理机环境中，监控主机的步骤是，在每台主机上安装node-exporter，然后在prometheus的抓取任务中配置每一台主机的地址，每次添加主机，都需要重复去做这个操作，而在k8s环境中，我们可以通过DaemonSet类型创建node-exporter，基于Prometheus在k8s内的node类型的服务发现，可以对新扩容的主机自动部

2020-11-23 21:25:14 20164 1

原创 prometheus监控k8s集群系列之cadvisor篇

通过cadvisor结合prometheus监控k8s集群容器基础设施（container）简介cAdvisor可以对Node机器上的资源及容器进行实时监控和性能数据采集，包括CPU、内存使用情况、网络吞吐量及文件系统使用情况，1.7.3版本以前，cadvisor的metrics数据集成在kubelet的metrics中，在1.7.3以后版本中cadvisor的metrics被从kubelet的metrics独立出来了，每个Node机器上都会有一个aAdvisor对这台机器进行监控。操作从简介中我们

2020-09-26 10:14:40 18627 4

原创 k8s集群内prometheus频繁oomkilled问题解决

背景通过在k8s集群内搭建prometheus对k8s集群进行监控，主要包括一下模块node-exporter监控物理机资源cadavisor、kube-state-metrics监控容器资源kubeleteapiserveretcdcontroller managerkube-proxy应用程序容器自身暴露的metrics但随着集群规模的增大，抓取的监控指标越来越多，prometheus容器开始经常出现oomkilled的问题，导致prometheus几乎不可用，无限增大分配给pr

2020-08-31 19:38:56 17915 1

原创 k8s环境下搭建prometheus

前言啥都不说，直接开造！开造首先在k8s集群创建命名空间monitoringkubectl create namespace monitoring服务账户(prometheus-sa.yaml)apiVersion: v1kind: ServiceAccountmetadata: name: prometheus namespace: monitoring集群角色(prometheus-clusterRole.yaml)apiVersion: rbac.authorizati

2020-07-16 20:25:56 15246 1

原创 k8s环境下prometheus监控canal实践

前言使用prometheus监控canal的方法官方文档上已经介绍的很详细了，这里主要是介绍一下在k8s环境下，prometheus通过pod的服务发现，自动添加对新增的canal-server实例的监控操作canal-server的容器化教程在前面文章中已经详细介绍过了，有兴趣的可以看一下。k8s环境搭建canal-server主要关注当时canal-server创建的yaml中的以下配置spec: selector: matchLabels: app: canal-s

2020-07-14 22:00:17 13651

原创 canal-adapter从数据库读取配置代码解析及改造

前言从canal-adapter文档我们可以知道，其实adapter本身是有从数据库读取配置的功能的，但是文档中只是简单的提了一句，本文就从代码入手，带大家看看adapter从数据库读取配置这部分的功能是如何实现以及应该如何去使用它。代码详解主要介绍几个关键的位置，帮助大家理清思路com.alibaba.otter.canal.adapter.launcher.config.BootstrapConfiguration.java @PostConstruct public void l

2020-07-02 21:31:06 14449 2

原创 90+高分拿下阿里云acp认证，附完整备考流程和考试资料

前言断更许久回归，前段时间除了工作任务比较多以外，其余时间都用来准备阿里云的acp认证了，如今证书到手，正式回归正常更新节奏。今天先来给大家分享一下我备考acp认证的一些经验和资料，希望可以帮助到有兴趣的小伙伴！介绍首先我备考的是阿里云acp认证中的云计算工程师，它是面向使用阿里云云计算产品的架构、开发、运维人员的专业技术认证。这个属于阿里认证中比较简单的一项考试了，由于疫情原因，阿里推出了线上的acp认证考试，但是随着疫情的逐渐好转，线下的考试报名也已经慢慢恢复了，刚刚去官网看了一下，线上的考试通道

2020-06-30 21:15:09 21544 6

原创 canal-adapter适配elasticsearch 2.x和5.x版本

前言适配elasticsearch不同版本的过程，是一个了解adapter整体架构的过程，但是同样也很想吐槽elasticsearch的版本间的不兼容问题，不过既然要用，就怂怂的接受好了。适配注：adapter使用版本为1.1.5-alpha在1.1.5版本的adapter中es的同步，将不同大版本的es打成了不同的jar包，然后再通过配置文件去调用相应版本的包去同步数据，官方提供了es6...

2020-05-05 18:11:40 13803

原创 canal修改同步位点解析

前言在canal的数据同步使用过程中，有时会遇到需要修改同步位点的情况，这里对修改位点操作做一下记录。分析我们知道在canal-server的instance的配置文件中有一下配置项是与位点修改相关的，canal.instance.master.journal.name=canal.instance.master.position=canal.instance.master.times...

2020-04-21 23:03:28 16565 1

原创 canal-adapter趟坑实践：canal-server的kafka SASLPLAIN方式鉴权适配

前言canal-server同步到kafka本身是支持Kerberos方式的鉴权的，但是鉴于项目现在使用的kafka集群使用的是SASL/PLAIN的鉴权方式，所以需要对canal-server同步kafka做一下适配改造。准备kafka SASL/PLAIN鉴权的搭建我参考的这篇文章kafka SASL/PLAIN鉴权的搭建了解如何使用java向以SASL/PLAIN方式鉴权的kafk...

2020-03-16 10:14:53 14475

原创 canal-adapter同步mysql问题记录

canal-adapter同步mysql问题记录前言同步mysql问题前言canal-adapter目前支持rdb、es、kafka、hbase等多个目标端的同步，最近几篇我会记录一下我在使用adapter向这些目标端同步时，是如何解决es、hbase版本适配，添加部分个性化需求，以及如何处理一些我遇到各种问题。今天先来记录一下adapter同步mysql。同步mysqlapplicat...

2020-02-28 18:21:45 15697 3

原创多个canal-server集群共用一套zookeeper解决方案

多个canal-server集群共用一套zookeeper解决方案前言集群配置zk部署多套server集群前言canal提供了使用zk搭建集群版的server的方式，进一步保证了canal的高可用性，但是我们有时会遇到需要多个集群的情况，在使用中发现，一个集群就需要搭建一套zk，这就大大增加了我们使用的成本，下面就给大家介绍一下如何使用一套zk，创建多个canal-server集群集群配置...

2020-02-21 18:56:01 15484

原创 k8s集群下canal-adapter连接canal-server实践

k8s集群下adapter连接server域名问题改造前言问题解析解决方案前言成也容器重启，败也容器重启，说好的重启治百病，在容器这里，是重启出百病啊！之前说过，我们使用statefuset类型使canal-server域名固定之后又挂载pv使server即使重启也不会丢失数据，本以为万事大吉，没想到在用adapter同步数据时发现还是出了bug…问题使用域名注册server之后，马上启...

2020-02-20 19:37:28 14529

原创 k8s集群下canal-server的伪高可用实践

k8s集群下canal-server的伪高可用实践前言问题解决方案总结前言前面我们已经介绍了canal的admin、server、adapter三个部分的容器化以及在k8s集群下的搭建过程。在创建canal-server的时候，k8s环境下，容器重启会造成ip地址的变动给我们带来了一些问题，我们通过在创建canal-server的时候使用statefuset类型，使其可以通过固定的域名去向ca...

2020-02-17 19:46:56 14170 4

原创 k8s集群下搭建数据同步工具-canal:canal-adapter篇

k8s集群下搭建数据同步工具-canal:canal-adapter篇前言容器化canal-adapter环境准备k8s集群创建podcanal-adapter前言canal-adapter的创建步骤就相对简单，主要是镜像的构建和同步相关配置的问题，后续会写一些adapter适配过程中遇到的坑，以及可能需要自己去改造的部分内容。容器化canal-adapter环境准备yum源文件 C...

2020-01-31 16:38:27 14880 1

原创 k8s集群下搭建数据同步工具-canal:canal-server篇

k8s集群下搭建数据同步工具-canal:canal-server篇前言容器化canal-server环境准备k8s集群创建podcanal-server前言canal-server的搭建过程与canal-admin大体相同，但需要解决一下一些问题，我们知道，server是通过canal.properties中的register.ip想admin注册server信息的，但是在k8s环境下，po...

2020-01-18 09:12:01 17489 2

原创 k8s集群下搭建数据同步工具-canal:canal-admin篇

k8s集群下搭建数据同步工具-canal前言容器化canal-admin环境准备canal-servercanal-adapterk8s集群上搭建canalcanal-admincanal-servercanal-adapter前言本文使用v1.1.4版本的canal相关程序进行容器化，主要包含cana-admin、canal-server、canal-adapter三个部分，其中admin和...

2020-01-14 20:53:56 15988 2

原创数据同步工具--Canal

数据同步工具--Canal前言canal简介定位工作原理名词解释实例部署环境准备jdk1.8版本zookeeper源端mysql环境参数初始化canal安装包安装部署配置修改启动查看日志监控运维监控运维前言最近有数据同步相关的需求，遂在网上查看相关的数据同步工具，便发现了阿里开源出来的数据增量同步工具canal，翻阅官方文档之后，最终确定先使用canal将源端数据同步到kafka，再通过发布订...

2019-04-21 13:23:22 14135

原创通过爬取微博评论，发现好看的小姐姐...

通过爬取微博评论，发现好看的小姐姐...前言页面分析实现架构关键点成果前言刷微博刷到一个博主求好看小姐姐照片的微博，内心不由得轻蔑一笑，好看的小姐姐凭啥理你，滑到评论区，我瞬间就酸了，内心对这个博主留下了嫉妒的泪水。这样的照片评论区多的是，滑屏滑到手指酸痛还没有看完所有小姐姐的我灵机一动，不如写个爬虫把小姐姐照片全爬下来慢慢欣赏吧（吸溜~）！页面分析首先在chrom中打开开发者工具，打...

2019-04-11 20:23:58 15034 3

原创服务器无外网环境安装软件

服务器无外网环境安装软件背景yum源rpm安装背景有过linux服务器内网环境安装各种软件经历的童靴或多或少体验过安装过程中各种依赖缺失，又找不到合适rpm包的痛苦，下面是一些我工作经历中总结出的一些可以减少这些痛苦的经验，给新手开路，望大神指点！yum源这是大家安装软件时，最爽的安装方式之一，写在这里有点算废话了，但是还是想说一句，能用本地yum源安装的就不要再用下面的这些方法了。yu...

2019-04-09 09:44:28 14405