- 博客(45)
- 收藏
- 关注
RSS订阅原创 自建kafka和公有云kafka对比
阿里云相关文档：开源对比：开源对比 - 产品简介| 阿里云使用限制：使用限制 - 产品简介| 阿里云存储引擎对比 ：存储引擎对比 - 产品简介| 阿里云腾讯云相关文档：开源对比：消息队列 CKafka 开源对比 - 产品简介 - 文档中心 - 腾讯云使用限制：消息队列 CKafka 使用限制 - 产品简介 - 文档中心 - 腾讯云 类型 数据过期时间 支持版本 是否暴露zk
2022-02-26 17:15:07
1267
原创 kafka集群迁移方案
自建Kafka集群迁移上云阿里云：Alibaba Cloud Help Center - Cloud Definition and Explanation of Cloud Based Services - Alibaba Cloud腾讯云：消息队列 CKafka 方案1：单写双消费迁移 - 消息平台操作指南 - 文档中心 - 腾讯云自建Kafka集群迁移迁移前准备1、kafka集群规划，主要考虑磁盘容量以及扩展性，如果数据量比较大，可以考虑部署5个broker节点，每个节点挂载4块数据
2022-02-26 17:12:43
3803
1
原创 kafka基础概念
简介Kafka是一个分布式、支持分区的（partition）、多副本的（replication）的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。消息的传输过程中保存消息的容器叫做消息队列。把数据放到消息队列叫做生产者，从消息队列里边取数据叫做消费者.特性1）高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, 消费组对partition进行消费操作；2）可扩展性：kafka集群支持热扩展；3）持久性、..
2022-02-26 17:08:43
1617
1
原创 kafka-manager部署文档
github地址：https://github.com/yahoo/CMAK.git一、编译打包1、下载代码（确定分支版本）git clone -b 2.0.0.2https://github.com/yahoo/CMAK.git2、修改maven仓库源代码根目录project/plugins.sbt文件// The Typesafe repositoryresolvers += "aliyun" at "http://maven.aliyun.com/nexus/content.
2022-02-26 17:05:09
937
转载 KafkaConsumer重置Offset
在Kafka Version为0.11.0.0之后，Consumer的Offset信息不再默认保存在Zookeeper上，而是选择用Topic的形式保存下来。在命令行中可以使用kafka-consumer-groups的脚本实现Offset的相关操作。更新Offset的三个维度：Topic的作用域 重置策略 执行方案Topic的作用域--all-topics：为consumer group下所有topic的所有分区调整位移） --topic t1 --topic t2：为指定的若干个to
2022-02-26 16:57:33
3638
原创 kafka日常运维工作
一、创建/删除/重建topic1、创建：./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 10 --topicTOPIC_NAME2、删除：./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topicTOPIC_NAME3、查看状态和分区负载详情：./bin/kafka-topics.s..
2022-02-26 16:50:55
1849
原创 kafka重分配分区
1、确定需要执行重分区的topic，可以指定多个，建议每次重分区一个；（重分区之前检查下topic大小） # vi topics-to-move.json { "topics": [{ "topic": "test-topic" }], "version": 1} 2、生成分区方案Current partition replica assignment 当前分区分布（用于回滚）Proposed partition reassignmen.
2020-11-19 18:33:39
1389
原创 Salt2019.2.0测试
Salt2018.3.0与Salt2019.2.0对比测试Salt2019.2.0新特性ANSIBLE PLAYBOOK STATE AND EXECUTION MODULES2019.2.0版本中还增加了运行playbooks的功能。 这包括一个ansible playbooks状态模块，它可以在目标主机上用来运行ansible playbooks，或者用在编排state ru...
2019-12-13 14:30:03
333
转载 Linux下Nginx服务Rewrite和Proxy_Pass
Nginx_Rewrite一、介绍 Rewrite根据nginx提供的全局变量或自己设置的变量，结合正则表达式和标志位实现url重写和者重定向。 Rewrite和location类似，都可以实现跳转，区别是rewrite是在同一域名内更改url，而location是对同类型匹配路径做控制访问，或者proxy_pass代理到其他服务器。 Rewrite和location执行顺序： ...
2019-12-12 14:21:20
428
转载 k8s master和node灾备及恢复
一、 前言本文档简述了Kubernetes主节点及node灾备恢复的相关步骤，供在发生k8s master崩溃时操作。就算是在k8s里部署了etcd群集, 主节点控制组件的高可用节点，灾备恢复也是必须要实现的操作，才能形成完备的企业级服务方案。K8s集群在master节点发生故障时，并不会影响已有的pod运行和服务开放，所以对服务是没有影响的。故而我们可以在发生故障之后，挑选合适的时间...
2019-12-12 10:40:23
1958
原创 Centos7.6升级到Centos8.0
基础环境[root@sz1-22-145-centos139 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)[root@sz1-22-145-centos139 ~]# uname -aLinux sz1-22-145-centos139 3.10.0-957.el7.x86_64 #1 SMP Thu ...
2019-12-11 19:46:27
4752
4
原创 ELK日志系统架构
部署架构数据采集层这一层主要收集日志，也可以做一些简单的数据处理和过滤。通常有两种方式：、日志采集客户端监，比如filebeat、logstash、Flume、Logagent、rsyslog、fluentd等 、直接从程序中将日志写入消息队列或es集群消息队列由于数据处理层中的logstash不能持久化存储数据，为防止异常时日志无法储存到es集群中，通常会加一层消息...
2019-12-11 19:41:04
230
原创 4、ES新版本特性
Elasticsearch 6.0.0部分特性无宕机升级：使之能够从 5 的最后一个版本滚动升级到 6 的最后一个版本，不需要集群的完整重启。无宕机在线升级，无缝滚动升级。跨多个 Elasticsearch 群集搜索和以前一样，Elasticsearch 6.0 能够读取在 5.x 中创建的 Indices ，但不能读取在 2.x 中创建的 Indices 。不同的是，现在不必重...
2019-12-11 19:40:15
494
原创 3、ES常用命令
一、ES常用命令1、查询命令1.1、查看集群健康状态：curl -k -uuser:passwordhttps://127.0.0.1:9200/_cluster/health?v查看集群的健康信息，主要是索引相关信息1.2、查看节点状态：curl -k -uuser:passwordhttps://127.0.0.1:9200/_nodes/stats?v上面的命...
2019-12-11 19:39:12
1464
原创 JDK
官网/下载页面：https://www.oracle.com/technetwork/java/javase/downloads/index.html一、环境说明安装路径 /usr/ 版本(虚拟机) jdk1.8.0_51 版本(容器) jdk1.8.0_131 二、安装步骤1、手动安装1.1解压tar -xfjdk-8u51-linux-x64...
2019-12-11 19:28:15
13315
原创 Kafka
官网地址：http://kafka.apache.org版本记录：http://kafka.apache.org/documentation/#upgrade下载链接：http://archive.apache.org/dist/kafka/一、基本环境说明 系统版本 Centos6.8 运行用户 root Kafka版本...
2019-12-11 19:26:45
93
原创 KVM虚拟化安装
1.安装软件包yum -y install kvm python-virtinst libvirt tunctl bridge-utils virt-manager qemu-kvm-tools virt-viewer virt-v2v libguestfs-tools2.启动服务并设置开机启动CentOS6： service libvirtd restart ...
2019-12-11 19:23:53
223
原创 ZooKeeper
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务官网地址：https://zookeeper.apache.org/下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/一、基本环境说明 系统版本 Centos6.8 运行用户 root Zoo...
2019-12-11 19:23:00
88
原创 Tomcat
官网地址：http://tomcat.apache.org/版本记录：Tomcat7：http://tomcat.apache.org/tomcat-7.0-doc/changelog.htmlTomcat8：http://tomcat.apache.org/tomcat-8.0-doc/changelog.htmlTomcat8.5：http://tomcat.apache.or...
2019-12-11 19:21:59
72
原创 Tengine
官网地址：http://tengine.taobao.org/版本记录：http://tengine.taobao.org/changelog_cn.html下载链接：http://tengine.taobao.org/download_cn.html一、基本环境说明 硬件配置 4核8G 系统版本 Centos6...
2019-12-11 19:20:23
430
原创 七、RabbitMQ镜像模式集群搭建
一、集群环境 系统 用户 IP地址 主机名 centos7.6 root 172.22.145.167 sz1-22-145-centos167 centos7.6 root 172.22.145.168 sz1-22-145-centos168 centos7.6...
2019-12-11 17:31:37
282
原创 六、RabbitMQ用户角色及权限控制
一、用户角色1、RabbitMQ的用户角色分类none、management、policymaker、monitoring、administrator2、RabbitMQ各类角色描述none不能访问 management pluginmanagement用户可以通过AMQP做的任何事外加：列出自己可以通过AMQP登入的virtual hosts查看自己的virtual...
2019-12-11 17:30:56
196
原创 五、RabbitMQ常用命令
启动/usr/local/rabbitmq/sbin/rabbitmq-server &启用插件/usr/local/rabbitmq/sbin/rabbitmq-plugins enable rabbitmq_management/usr/local/rabbitmq/sbin/rabbitmq-plugins enable rabbitmq_mqtt查看用户rabb...
2019-12-11 17:30:48
147
原创 四、RabbitMQ基本概念
关键字 说明 Broker 消息队列服务器的实体，是一个中间件应用，负责接收生产者的消息，然后将消息发送至消息接收者或其他的Broker Exchange 消息交换机，是消息第一个到达的地方，消息通过它指定的路由规则，分发到不同的消息队列中去 Queue 消息队列，消息通过发送和路由之后最终到达的地方。到达Queue的消息即进入等待消费的状态，每个消息都会...
2019-12-11 17:30:39
103
转载 三、RabbitMQ四种集群模式
一、主备模式也称为 Warren (兔子窝) 模式。实现 rabbitMQ 的高可用集群，一般在并发和数据量不高的情况下，这种模式非常的好用且简单。也就是一个主/备方案，主节点提供读写，备用节点不提供读写。如果主节点挂了，就切换到备用节点，原来的备用节点升级为主节点提供读写服务，当原来的主节点恢复运行后，原来的主节点就变成备用节点，和 activeMQ 利用 zookeeper 做主/备一...
2019-12-11 17:30:33
6111
原创 二、RabbitMQ脑裂解决方案
一、背景目前生产环境RabbitMQ集群分布在铜牛机房和马驹桥机房，其中铜牛机房两个节点，马驹桥机房两个节点；当铜牛和马驹桥机房之间网络中断或者有较大波动时，RabbitMQ集群会发生网络分区（脑裂），分成两个分区，当网络恢复时，网络分区的状态还是会保持，除非采取一些措施去解决，造成消息消费异常等问题。二、网络分区处理方式处理网络分区的方式有两种：1.手动处理网络分区：...
2019-12-11 17:30:24
2116
原创 一、RabbitMQ版本选择
RabbitMQ更新记录：https://www.rabbitmq.com/changelog.html下载链接：https://www.rabbitmq.com/download.html官网链接：https://www.rabbitmq.com/news.html配置文件：https://www.rabbitmq.com/configure.htmlErlang官网链接...
2019-12-11 17:15:17
8927
1
原创 Centos7.x和Centos8.x修改网卡名称
CentOS7/8采用NetworkManager.service来进行网络管理，采用主板dmidecode采集命名。可以使用以下方法修改网卡名称：（1）修改Grub配置文件，(开机给kernel传递参数，关闭主板dmidecode采集命名) vim /etc/sysconfig/grub #在GRUB_CMDLINE_LINUX配置项中加入 net.ifna...
2019-12-09 11:04:33
1801
原创 修改Harbor网桥网段
（docker ps，然后docker stop id先停止所有docker服务）查看网桥docker network ls删除网桥（删除已harbor开头的网桥）docker network remove face1687e9eb创建网桥docker network create --driver=bridge --subnet=192.168.2.0/24 harbordocker...
2019-11-18 16:21:44
1080
原创 Harbor1.6安装和配置
前提条件默认情况，Harbor服务在单台主机以Docker启动，通过Docker-compose管理，所以需要安装 docker Docker-compose 安装dockercurl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun安装docker-composecurl -L "h...
2019-11-18 16:17:27
436
原创 centos6.10和centos7.6 系统性能压测数据
一、环境说明1.硬件CPU：Intel(R) Xeon(R) E5-2630 v4 @ 2.20GHz 40核内存：192G（12*16G）DDR4硬盘：6*1.2T (SAS,10K RPM)网卡：2个万兆口+2个千兆口2.系统centos6.10 （2.6.32-754.el6.x86_64）centos7.6（3.10.0-957.el7.x86_64）3...
2019-11-14 15:55:21
2168
原创 Dockerfile模板(JAVA应用)
系统基础镜像模板（centos7.6）FROM registry.test.inside/library/centos:7.6MAINTAINER ops<ops@sui.com>#docker build -t registry.test.inside/base/centos:7.6 . ENV LANG=en_US.UTF-8 RUN ["/bin/bash", "...
2019-11-07 14:12:16
473
原创 Helm安装
一、安装Helm#从官网下载最新版本的二进制安装包到本地：https://github.com/kubernetes/helm/releases解压压缩包tar -zxvf helm-2.11.0.tar.gz把 helm 指令放到bin目录下mv helm-2.11.0/helm /usr/local/bin/helm验证helm help二、给 Tiller 授权kubec...
2019-11-06 17:08:26
554
原创 SpringBoot项目发版Pipeline
def ServiceName = “demo”def ProjectDir = “demo”def DockerfileDir = “project/demo”def gitCommitdef gitBranchdef shortGitCommitnode {def DOCKER_HUB_ADDR=‘registry.test.inside’stage('Git ...
2019-11-06 16:02:00
491
原创 Tomcat项目发版Pipeline
def ServiceName = "demo"def ProjectDir = "demo"def DockerfileDir = "project/demo"def gitCommitdef gitBranchdef shortGitCommitnode { def DOCKER_HUB_ADDR='registry.test.inside' ...
2019-11-06 15:54:40
198
原创 Dockerfile模板
系统基础镜像模板（alpine） FROM registry.test.inside/base/alpine-glibc:latest MAINTAINER ops <ops@test.com> ENV LANG=C.UTF-8 COPY Shanghai /etc/localtime RUN apk update \...
2019-06-10 14:09:37
74
原创 k8s+dubbo架构集群内外网络通讯解决方案
一、问题k8s有自己的一套网络管理机制，集群内的容器和容器之间是可以相互通信的。但是在容器化升级改造的过程中，不可能一步到位的将所有的服务全部迁移到k8s的容器当中来，毕竟新的技术在没有经过实践趟坑时，肯定不能轻易的全面铺开升级。那么就涉及到集群外的服务访问集群内的服务，集群内容器中的ip都是k8s管理的IP，dubbo服务注册的也是获取的容器内分配的IP。比如宿主机ip是10.201.7...
2019-06-10 11:03:39
6055
转载 资源配额(ResourceQuota)
1、资源配额概述当存在多个用户或团队共享数目国定的集群时，就需要考虑如果有人使用的资源可能会超出应有的份额带来的问题，资源配额(ResourceQuota)就是用来帮助集群管理员解决上述问题的工具。在Kubernetes集群中通过ResourceQuota对象定义每个命名空间(namespace)的资源配额，从而实现资源消耗总量的限制。 资源配额有两个作用：1）可以按类型限制命名空间(na...
2019-06-07 12:53:57
2109
转载 Kubernetes资源管理之—资源预留
1. 概述1.1 问题系统资源可分为两类：可抢占资源（CPU）和不可抢占资源（memory、storage）。可抢占资源比如CPU在系统满负荷时会划分时间片分时运行进程，系统整体会变慢（一般不会导致太大的问题）。但不可抢占资源如Memory在系统满负荷时，除了会导致系统变慢，还会进一步导致系统OOM，最终导致某些进程被Linux系统的OOM killer机制杀掉。在Kubernetes...
2019-06-07 12:52:24
1229
转载 Kubernetes架构
Kubernetes最初源于谷歌内部的Borg，提供了面向应用的容器集群部署和管理系统。Kubernetes的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放在以容器为中心的原语上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更高级的自动化任务。Kubernetes 具备完善的...
2019-06-07 12:51:52
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人