自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(97)
  • 收藏
  • 关注

原创 运维监控之——云原生运维监控报警架构(prometheus+grafana+netdata+Thanos+Alertmanager+Consul)

说明:使用Prometheus(https://github.com/prometheus)原生的k8s服务发现驱动,采集容器化信息;通过微服务参数配置,暴露运行状态信息提供给prometheus,实现微服务信息采集; 通过新引入的netdata(https://github.com/netdata/netdata)做为采集器,采集除了微服务、k8s以外的所有资源信息; 通过consul解决新节点自动注册和发现问题; 使用prometheus时序数据库,解决存储效率问题; 通过thanos实..

2021-04-07 18:19:14 416 3

原创 大数据之-hdfs+hive+hbase+kudu+presto集群(6节点)

参考原文作者:吉甫作诵链接:https://blog.csdn.net/fly0512/article/details/100863889几个主要软件的下载地址:presto https://prestosql.io/docs/current/index.htmlkudu rpm包地址 https://github.com/MartinWeindel/kudu-rpm/releaseshive http://mirror.bit.edu.cn/apache/hive/hdfs http:/.

2021-01-06 16:32:04 209

原创 python编写Mongodb同步实时数据到Tidb或mysql

Mongodb同步实时数据到Tidb架构图1.Go环境安装yum install golang golang-bin golang-src –y 2.mongo-shake安装直接下载最新的mongo-shake安装包不用编译开源下载地址https://github.com/ali...

2020-12-23 16:58:45 279 1

原创 大数据之-hive使用HA高可用集群搭建

一. 简介haproxy是一个开源的,高性能的,负载均衡软件,借助haproxy可以快速,可靠的构建一个负载均衡群集。优点如下:1.可靠性和稳定性非常好,可以和硬件级的负载均衡设备F5相媲美。2.最高可同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个。3.支持8种负载均衡算法,支持回话保持。4.支持虚拟主机功能。5.支持连接拒绝,全透明代理并且有一个功能强大的服务器状态监控界面。6.拥有功能强大的ACL支持。haproxy真的很强大。这里

2020-10-16 17:34:08 215 4

原创 容器化之-helm(K8S包管理器)一键部署nacos集群连外部mysql

前言:1.helm新的chart包制作helm create myapp( metallb和nacos)2.自建mysql导入nacos初始数据(略)3.helm启动LoadBalancer服务(之前用NodePort暴漏3000+端口压测100个微服务就挂了,所以更换了LoadBalancer模式很稳定)4.持久化分布存储longhorn安装(longhorn安装略,rancher商店有现成的可以一键安装,网上也有很多longhorn.yaml模板k8s启动就可以了)1.#meta

2020-08-17 13:43:50 1784 1

原创 容器化之-helm(k8s包管理器)一键部署应用

helm简介很多人都使用过Ubuntu下的ap-get或者CentOS下的yum, 这两者都是Linux系统下的包管理工具。采用apt-get/yum,应用开发者可以管理应用包之间的依赖关系,发布应用;用户则可以以简单的方式查找、安装、升级、卸载应用程序。我们可以将Helm看作Kubernetes下的apt-get/yum。Helm是Deis (https://deis.com/) 开发的一个用于kubernetes的包管理器。每个包称为一个Chart,一个Chart是一个目录(一般情况下会将目录进

2020-07-25 12:03:46 650

原创 运维监控之-zabbix+Grafana+使用自定义脚本监控并报警到微信&邮件

1.安装zabbix服务端3.4的源rpm -ivhhttps://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpmb. 安装Zabbix server,Web前端,agentyum install zabbix-server-mysql zabbix-web-mysql zabbix-agent -yc.安装mariadb数据库(设置开机启动)yum install...

2020-07-25 10:58:19 493

原创 运维监控之-Prometheus+Grafana+node_exporter监控并报警到钉钉&邮件

环境prometheus+grafana 192.168.1.192agent01(被监控端) 192.168.1.22agent02(被监控端) 192.168.1.25一、Prometheus 简介Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统,由工作在 SoundCloud 的 google 前员工在 2012 年创建...

2019-04-09 21:00:09 23194 1

原创 K8S实战进阶篇:一文带你深入了解K8S持久化存储解决方案

1. 前言2. Storage2.1. Volume2.2. Host类型volume实战2.2.1. 创建Nginx Pod的yaml文件2.2.2. 验证2.3. PersistentVolumes2.3.1. NFS服务器搭建2.3.2. PV定义2.4. PersistentVolumeClaim2.5. PV、PVC实战2.6. StorageClass2.6.1. 官方支持的StorageClass2.6.2. NFS StorageClass

2021-03-24 10:42:41 260 2

原创 K8S实战基础篇:一文带你深入了解K8S实战部署SpringBoot项目

1.前言2.简介2.1.为什么写这篇文章2.2.需求描述2.3.需求分析3. 部署实战3.1 环境准备3.2 image准备3.3 部署2个实例3.3.1 编写yaml文件3.3.2 启动3.3.3 引入Ingress3.3.3.1 Ingress简介3.3.3.2 Ingress 安装3.3.3.3 Ingress 配置启动3.3.3.4 验证3.3.3.4 自动扩缩4. 总结1.前言云原生可以说是当下互联网行业最火爆的概念和

2021-03-24 10:02:24 335

原创 Linux下K8S傻瓜式安装,图形化管理及两者之间比较(KubeSphere和Rancher)

之前我们一直都是使用命令行来管理K8S的,这种做法虽然对程序员来说看起来很炫酷,但有时候用起来还是挺麻烦的。今天我们来介绍2个K8S可视化管理工具KubeSphere和Rancher,使用它可以大大减少我们管理K8S的工作量,希望对大家有所帮助!KubeSphere简单介绍KubeSphere是在 Kubernetes 之上构建的以应用为中心的多租户容器平台,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操...

2021-03-19 16:27:38 3490

原创 一篇文章教你搞懂日志采集利器 Filebeat

本文使用的Filebeat是7.7.0的版本,文章将从如下几个方面说明:Filebeat是什么,可以用来干嘛 Filebeat的原理是怎样的,怎么构成的 Filebeat应该怎么玩Filebeat和Beats的关系首先Filebeat是Beats中的一员。Beats在是一个轻量级日志采集器,其实Beats家族有6个成员,早期的ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、CPU、io等资源消耗比较高。相比Logstas.

2021-03-17 14:05:35 128

原创 Linux运维常用命令总结

1.删除0字节文件find -type f -size 0 -exec rm -rf {} \;2.查看进程按内存从大到小排列PS -e -o "%C : %p : %z : %a"|sort -k5 -nr3.按cpu利用率从大到小排列ps -e -o "%C : %p : %z : %a"|sort -nr4.打印说cache里的URLgrep -r -a jpg /data/cache/* | strings | gr...

2021-03-17 13:50:41 99 1

原创 运维监控之-Zabbix通过api监控k8s

监控方式:python+zabbix_sender原理:python的request库,请求k8s的api地址,对数据处理。第一步:获取k8s的api地址查看K8S的api地址的命令如下(最好在K8s集群的master上执行这条命令,因为如果在node节点上执行该命令有可能会获取旧的api地址)第二步:K8S集群的Master主机生成一个token用来认证,请求数据api数据生成令牌命令如下(在K8S的Master主机执行命令)kubec...

2021-03-05 10:35:18 77 1

转载 Spring Boot 使用 Micrometer 集成 Prometheus 监控 Java 应用性能

1、Micrometer 介绍Micrometer 为 Java 平台上的性能数据收集提供了一个通用的 API,它提供了多种度量指标类型(Timers、Guauges、Counters等),同时支持接入不同的监控系统,例如 Influxdb、Graphite、Prometheus 等。我们可以通过 Micrometer 收集 Java 性能数据,配合 Prometheus 监控系统实时获取数据,并最终在 Grafana 上展示出来,从而很容易实现应用的监控。Micrometer 中有两个最核心的

2021-03-02 12:02:36 135

原创 Tidb分布式数据库使用HAproxy实现负载均衡

TiDB 简介TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLA...

2021-02-05 17:45:07 198

原创 微服务架构之基于容器编排的DevOps流程

敏捷开发大道至简,所有血的教训告诉我们,不要把简单的事情复杂化。换句话说,不要用复杂的方法处理简单的事情。我对敏捷的理解是「快」和「微」。快指迭代快,开发快,上线快,性能快。微指微服务、微镜像。围绕这两点,在开发阶段我们需要做以下几件事:应用微服务化这是个比较大的概念,不在这里讨论,有兴趣可以参考我的其他文章。但只有应用小了,才有可能快起来。给 Docker 镜像瘦身为了让 Docker 启动和运行得快,首先就是要对 Docker 瘦身。由于所有的应用全部会统一为 Java 语言开发,所

2021-02-02 15:25:19 149

原创 三分钟搭建开源的SQL审核查询平台Archery

介绍Archery定位于SQL审核查询平台,旨在提升DBA的工作效率,支持多种数据库的SQL上线和查询,同时支持丰富的MySQL运维功能,所有功能都兼容手机端操作功能清单快速开始Docker准备运行配置克隆:git clone https://gitee.com/rtttte/Archery.git#启动docker-compose -f docker-compose.yml up -d#查看:docker-compose ps#表结构

2021-01-08 14:23:33 744

原创 三分钟搭建开源的工单系统ferry

源码:https://gitee.com/yllan/ferry官方安装文档:https://www.fdevops.com/docs/ferry-tutorial-document/introductiondocker安装:第一步、拉取最新的代码# 以下命令二选一即可:git clone https://github.com/lanyulei/ferry.gitgit clone https://gitee.com/yllan/ferry.git # 国内推荐,较快第二步.

2021-01-06 11:32:54 6959 2

转载 一文讲懂什么是vlan、三层交换机、网关、DNS、子网掩码、MAC地址

一文讲懂什么是vlan、三层交换机、网关、DNS、子网掩码、MAC地址很多朋友多次问到什么是网关、dns、子网掩码,三层交换机,它们定位的用途;确实,因为网络技术在弱电中确实应用非常广泛,我们平时在vip技术群中也是不断的讨论到网关、vlan、三层交换机或子网掩码等问题,今天我们就一起用通俗方式一次性了解清楚。一、什么是vlan?VLAN中文是“虚拟局域网”。LAN可以是由少数几台家用计算机构成的网络,也可以是数以百计的计算机构成的企业网络。VLAN所指的LAN特指使用路由器分割的网..

2020-12-28 14:10:44 94

原创 三分钟搭建开源堡垒机JumpServer

一、简介前面我们聊到了openvpn的部署和使用,它能够实现从互联网通过openvpn连接到公司内网服务器,从而进行远程管理;但openvpn有一个缺点它不能记录哪些用户在内网服务器上操作了什么,拥有客户端的证书和私钥以及ca的证书和客户端配置,就可以直接连接到公司内网,这从某些角度讲不是一个安全的解决方案;今天我们来聊一款和openvpn有类似功能的软件jumpserver;jumpserver和openvpn都可以让用户从互联网连接公司内网服务器;但通常jumpserver都不会放在互联网;

2020-12-28 11:03:00 886 2

原创 三分钟搭建超轻量级开源云平台(Nano)

基于KVM技术,使用Go语言开发,简单易学的虚拟机管理软件,从Web管理门户、主机监控、镜像克隆到故障切换,功能完备,开箱即用,数分钟之内即可将您的服务器集群升级为云主机平台。快速安装指引Nano平台提供了Installer安装程序用于自动化部署,最新版本Installer可以通过官网下载或者Github发布页面获取。Installer会自行选择最合适的配置进行建议,对于初次安装Nano的新用户,安装过程中尽量不要调整任何参数,如需调整参数、修改配置或者直接升级二进制文件,请在熟...

2020-12-24 18:07:49 1314 2

转载 为什么不建议把数据库部署在Docker容器内

近2年Docker非常的火热,各位开发者恨不得把所有的应用、软件都部署在Docker容器中,但是您确定也要把数据库也部署的容器中吗?这个问题不是子虚乌有,因为在网上能够找到很多各种操作手册和视频教程,这里整理了一些数据库不适合容器化的原因供大家参考,同时也希望大家在使用时能够谨慎一点。目前为止将数据库容器化是非常不合理的,但是容器化的优点相信各位开发者都尝到了甜头,希望随着技术的发展能够更加完美的解决方案出现。Docker不适合部署数据库的7大原因1、数据安全问题不要将数据储存在容器中,这也

2020-11-06 15:06:11 452

原创 docker安装部署sentry实时错误追踪系统

docker安装部署sentrySentry 是一个开源的实时错误追踪系统,可以帮助开发者实时监控并修复异常问题。它主要专注于持续集成、提高效率并且提升用户体验。Sentry 分为服务端和客户端 SDK,前者可以直接使用它家提供的在线服务,也可以本地自行搭建;后者提供了对多种主流语言和框架的支持,包括 React、Angular、Node、Django、RoR、PHP、Laravel、Android、.NET、JAVA 等。同时它可提供了和其他流行服务集成的方案,例如 GitHub、GitLab、b

2020-09-08 16:44:20 245 1

原创 容器化之-可视化镜像仓库管理(Harbor+阿里云oss)

什么是HarborHarbor是一个开放源代码注册中心,它通过策略和基于角色的访问控制来保护工件,确保扫描图像并使其免受漏洞侵害,并将图像签名为受信任的。Harbor是CNCF毕业的项目,可提供合规性,性能和互操作性,以帮助您跨Kubernetes和Docker等云原生计算平台持续,安全地管理工件。介绍:1、离线安装harbor2、配置harborhttps 相关证书openssl 生成3、利用docker 命令登录harbor4、演示将本地镜像上传到服务器5、将harbo...

2020-09-03 20:36:40 1025

原创 ES学习构建EKL海量日志分析平台

下往上看1.Gateway代表ES数据持久化概念,ES建立索引默认存储在内存,ES只有当内存不足或关闭重新启动的情况下才持久化到磁盘里面,支持多种Gateway。2.lucene Directory它是lucene 索引文件组成的一些目录,负责管理一些索引文件和数据的读取写入(添加 删除 合并等等)3.River 代表一个数据源,以插件的形式读取数据方式。4.Mapping 映射...

2020-09-02 21:43:54 89

原创 自动化运维Ansible 一键部署环境(实战)

1、准备4台centost7IP:192.168.1.71 主控端IP:192.168.1.72 被控端 web01IP:192.168.1.73 被控端 web02IP:192.168.1.74 被控端 lb012、目前被控端很干净的环境(最小化安装的centos)目...

2020-08-13 08:49:58 5459

转载 k8s网络主题系列之Flannel网络

k8s网络主题系列:一、k8s网络之设计与实现二、k8s网络之Flannel网络三、k8s网络之Calico网络1|0简介Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务,简单来说,它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。在默认的Docker配置中,每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是,不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过I.

2020-08-07 15:28:24 223

转载 k8s网络主题系列之Calico网络

k8s网络主题系列:一、k8s网络之设计与实现二、k8s网络之Flannel网络三、k8s网络之Calico网络1|0简介Calico是一种容器之间互通的网络方案。在虚拟化平台中,比如OpenStack、Docker等都需要实现workloads之间互连,但同时也需要对容器做隔离控制,就像在Internet中的服务仅开放80端口、公有云的多租户一样,提供隔离和管控机制。而在多数的虚拟化平台实现中,通常都使用二层隔离技术来实现容器的网络,这些二层的技术有一些弊端,...

2020-08-07 15:25:46 266

转载 如何在Linux上恢复误删除的文件或目录

Linux不像windows有那么显眼的回收站,不是简单的还原就可以了。linux删除文件还原可以分为两种情况,一种是删除以后在进程存在删除信息,一种是删除以后进程都找不到,只有借助于工具还原。这里分别检查介绍下一,误删除文件进程还在的情况。这种一般是有活动的进程存在持续标准输入或输出,到时文件被删除后,进程PID还是存在。这也就是有些服务器删除一些文件但是磁盘不释放的原因。比如当前举例说明:通过一个shell终端对一个测试文件做cat追加操作:[root@21yunwei_ba...

2020-08-03 17:37:14 64

原创 K8S时间同步

yuminstall-y ntp ntpdatentpdate cn.pool.ntp.orgsystemctl start ntpdsystemctl enable ntpd1)服务端配置在192.168.0.1 root用户下操作yuminstall-y ntp ntpdate修改etc/ntp.conf注释所有的server和restrict加入:server 0.cn.pool.ntp.orgserver 0.asia.pool....

2020-07-25 10:30:56 2036

原创 nginx限制请求(ngx_http_limit_req_module)模块和nginx设置ip白名单

Example Configurationhttp {limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s; ...server { ...location /search/ { limit_req zone=one burst=120 nodelay;}一、limit_req_zone语法:limi...

2020-07-25 10:23:28 251

原创 容器化之-阿里云OSS+registry镜像仓库搭建

#安装Dockeryum install ebtables wget yum-utils device-mapper-persistent-data lvm2 -yyum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repoyum makecache fastyum install -y docker-ce#使用http连接仓库mkdir -p /etc...

2020-07-25 09:51:15 200

原创 快速搭建kubernetes集群(rancher篇)

概述Rancher是一个开源的企业级全栈化容器部署及管理平台,是一款运维工具。为容器提供一篮子基础架构服务,CNI兼容的网络服务、存储服务、主机管理、负载均衡、防火墙等。Rancher可以 让上述服务跨越共有云、私有云、虚拟机、物理机环境运行,实现一键式应用部署和管理。注意事项:节点主机名 不能有大小写、字符、同名,否则会报错的。标准格式Name1Name2Name3========================rancher2=====================.

2020-07-25 09:42:22 146

原创 KVM虚拟机扩容(实战笔记)

KVM物理机上操作关闭虚拟机操作virsh listvirsh destroy vm1qemu-img resize vm1.qcow2 +100Gvirsh start vm1KVM虚拟机上操作df -hfdisk -l#创建新分区fdisk /dev/sdanpt8ewpartx /dev/sda重启虚拟机#创建PVpvcreate /dev/sda3#扩展VGvgdisplay...

2020-07-25 09:23:41 84

原创 centos7下nginx+mycat实现负载均衡、数据库的主从复制、读写分离

Nginx和tomcat 项目安装省略1、准备环境 序号 内网IP 主机名Hostname 服务service 1 192.168.78.132 mysqlmaster mysql5.7、nginx 2 ...

2020-04-15 12:06:29 241

原创 Linux下大数据集群安装presto+kudu(3节点)

1、准备工作关闭selinux、防火墙、安装基础软件工具、安装JDK(jdk1.8.0_211)、所有主机配置好SSH免密登录、配置hosts文件(127.0.0.1的2行删除)cat /etc/hosts192.168.0.107 test3192.168.0.108 test4192.168.0.109 test52、安装kuducd /data&amp...

2020-04-05 18:21:31 587

原创 快速搭建kubernetes集群(原生篇)

kubernetes集群架构正式安装K8S:K8S安装方式:(常用)kubeadm,二进制,(不常用)minikube,yum等。#创建一个master 节点$ kubeadim init#将一个Node 节点加入到当前集群中$kubeadm join <Master 节点的IP和端口>1. 安装要求在开始之前,部署Kuber...

2020-03-13 08:39:12 520

原创 Raid冗余磁盘阵列详解

2020-02-28 21:16:00 194

原创 搭建OA系统运维需要了解的知识?

OA办公系统分为B/S架构、C/S架构二种方式,架构方式不同,OA系统的搭建也不同。  1、对于B/S架构的OA系统,只需要在服务器上安装一套OA系统,客户端访问采用浏览器网页形式即可访问。  2、对于C/S架构的OA系统,需要一台服务器和若干台客户端电脑上都要安装OA系统。  目前国内的OA系统都是用于WINDOWS操作系统的,数据库通常是SQL或者是MYSQL  所以找一台wi...

2020-02-27 19:39:27 3549

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除