- 博客(110)
- 收藏
- 关注
RSS订阅
原创 CICD—Jenkins Gitlab 远端MAC自动化打包IOS—IPA上传至蒲公英&AppStore
CICD—Jenkins Gitlab 远端MAC自动化打包IOS-IPA
2022-09-09 09:52:21
1605
原创 CICD—Linux下Jenkins+Gitlab 自动化打包安卓—APK上传至蒲公英&安卓各平台
Linux 下Jenkins+Gitlab 自动化打包安卓-APK
2022-09-05 15:52:52
940
原创 运维监控之——云原生运维监控报警架构（prometheus+grafana+netdata+Thanos+Alertmanager+Consul）
说明：使用Prometheus(https://github.com/prometheus)原生的k8s服务发现驱动，采集容器化信息；通过微服务参数配置，暴露运行状态信息提供给prometheus，实现微服务信息采集； 通过新引入的netdata(https://github.com/netdata/netdata)做为采集器，采集除了微服务、k8s以外的所有资源信息； 通过consul解决新节点自动注册和发现问题； 使用prometheus时序数据库，解决存储效率问题； 通过thanos实..
2021-04-07 18:19:14
2493
4
原创 大数据之-hdfs+hive+hbase+kudu+presto集群(6节点)
参考原文作者：吉甫作诵链接：https://blog.csdn.net/fly0512/article/details/100863889几个主要软件的下载地址：presto https://prestosql.io/docs/current/index.htmlkudu rpm包地址 https://github.com/MartinWeindel/kudu-rpm/releaseshive http://mirror.bit.edu.cn/apache/hive/hdfs http:/.
2021-01-06 16:32:04
627
原创 python编写Mongodb同步实时数据到Tidb或mysql
Mongodb同步实时数据到Tidb架构图1.Go环境安装yum install golang golang-bin golang-src –y 2.mongo-shake安装直接下载最新的mongo-shake安装包不用编译开源下载地址https://github.com/ali...
2020-12-23 16:58:45
744
1
原创 大数据之-hive使用HA高可用集群搭建
一. 简介haproxy是一个开源的，高性能的，负载均衡软件，借助haproxy可以快速，可靠的构建一个负载均衡群集。优点如下：1.可靠性和稳定性非常好，可以和硬件级的负载均衡设备F5相媲美。2.最高可同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个。3.支持8种负载均衡算法，支持回话保持。4.支持虚拟主机功能。5.支持连接拒绝，全透明代理并且有一个功能强大的服务器状态监控界面。6.拥有功能强大的ACL支持。haproxy真的很强大。这里
2020-10-16 17:34:08
695
4
原创 容器化之-helm(K8S包管理器)一键部署nacos集群连外部mysql
前言：1.helm新的chart包制作helm create myapp（ metallb和nacos）2.自建mysql导入nacos初始数据（略）3.helm启动LoadBalancer服务（之前用NodePort暴漏3000+端口压测100个微服务就挂了，所以更换了LoadBalancer模式很稳定）4.持久化分布存储longhorn安装（longhorn安装略，rancher商店有现成的可以一键安装，网上也有很多longhorn.yaml模板k8s启动就可以了）1.#meta
2020-08-17 13:43:50
4372
2
原创 容器化之-helm(k8s包管理器)一键部署应用
helm简介很多人都使用过Ubuntu下的ap-get或者CentOS下的yum, 这两者都是Linux系统下的包管理工具。采用apt-get/yum,应用开发者可以管理应用包之间的依赖关系，发布应用；用户则可以以简单的方式查找、安装、升级、卸载应用程序。我们可以将Helm看作Kubernetes下的apt-get/yum。Helm是Deis (https://deis.com/) 开发的一个用于kubernetes的包管理器。每个包称为一个Chart，一个Chart是一个目录（一般情况下会将目录进
2020-07-25 12:03:46
1268
原创 运维监控之-zabbix+Grafana+使用自定义脚本监控并报警到微信&邮件
1.安装zabbix服务端3.4的源rpm -ivhhttps://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpmb. 安装Zabbix server，Web前端，agentyum install zabbix-server-mysql zabbix-web-mysql zabbix-agent -yc.安装mariadb数据库(设置开机启动）yum install...
2020-07-25 10:58:19
1186
原创 运维监控之-Prometheus+Grafana+node_exporter监控并报警到钉钉&邮件
环境prometheus+grafana 192.168.1.192agent01(被监控端) 192.168.1.22agent02(被监控端) 192.168.1.25一、Prometheus 简介Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统，由工作在 SoundCloud 的 google 前员工在 2012 年创建...
2019-04-09 21:00:09
26788
1
原创 我们来看看Kubernetes、Docker、Dockershim、Containerd、runc、CRI、CRI-O、OCI的到底有什么关系？
Kubernetes v1.20版本 的 release note 里说 deprecated docker。并且在后续版本 v1.24 正式删除了 dockershim 组件，这对我们有什么影响呢？为了搞明白这件事情，以及理解一系列容器名词 docker, dockershim, containerd, containerd-shim, runC, CRI, OCI...。我们先捋一下 Kubernetes 与 Docker 的发展与关系。
2023-09-08 17:05:01
132
原创 k8s之ceph分布式存储
（ceph集群安装请看上篇文章）CEPH篇 块存储、文件存储和对象存储意义和差异及ubuntu20.4下 ceph安装_yaodunlin的博客-CSDN博客各个work节点安装客户端apt updateapt install ceph-commonK8S 客户端版本必须大于服务器版本 必须拷贝 这两个文件 ceph.client.admin.keyring ceph.conf 到所有的K8S work节点服务端拷贝配置文件过去scp ceph.client.a...
2022-02-22 17:40:02
1312
原创 CEPH篇 块存储、文件存储和对象存储意义和差异及ubuntu20.4下 ceph安装
理解块存储、文件存储和对象存储的应用场景和选择应用场景分布式存储的应用场景相对于其存储接口，现在流行分为三种: 对象存储: 也就是通常意义的键值存储，其接口就是简单的 GET、PUT、DEL 和其他扩展，如七牛、又拍、Swift、S3 块存储: 这种接口通常以 QEMU Driver 或者 Kernel Module 的方式存在，这种接口需要实现 Linux 的 Block Device 的接口或者 QEMU 提供的 Block Driver 接口，如 Sheepdog，AWS 的
2022-01-19 17:26:43
3213
原创 K8S实战进阶篇：一文带你深入了解K8S持久化存储解决方案
1. 前言2. Storage2.1. Volume2.2. Host类型volume实战2.2.1. 创建Nginx Pod的yaml文件2.2.2. 验证2.3. PersistentVolumes2.3.1. NFS服务器搭建2.3.2. PV定义2.4. PersistentVolumeClaim2.5. PV、PVC实战2.6. StorageClass2.6.1. 官方支持的StorageClass2.6.2. NFS StorageClass
2021-03-24 10:42:41
815
2
原创 K8S实战基础篇：一文带你深入了解K8S实战部署SpringBoot项目
1.前言2.简介2.1.为什么写这篇文章2.2.需求描述2.3.需求分析3. 部署实战3.1 环境准备3.2 image准备3.3 部署2个实例3.3.1 编写yaml文件3.3.2 启动3.3.3 引入Ingress3.3.3.1 Ingress简介3.3.3.2 Ingress 安装3.3.3.3 Ingress 配置启动3.3.3.4 验证3.3.3.4 自动扩缩4. 总结1.前言云原生可以说是当下互联网行业最火爆的概念和
2021-03-24 10:02:24
1480
原创 Linux下K8S傻瓜式安装，图形化管理及两者之间比较（KubeSphere和Rancher）
之前我们一直都是使用命令行来管理K8S的，这种做法虽然对程序员来说看起来很炫酷，但有时候用起来还是挺麻烦的。今天我们来介绍2个K8S可视化管理工具KubeSphere和Rancher，使用它可以大大减少我们管理K8S的工作量，希望对大家有所帮助！KubeSphere简单介绍KubeSphere是在 Kubernetes 之上构建的以应用为中心的多租户容器平台，提供全栈的 IT 自动化运维的能力，简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操...
2021-03-19 16:27:38
7237
原创 一篇文章教你搞懂日志采集利器 Filebeat
本文使用的Filebeat是7.7.0的版本，文章将从如下几个方面说明：Filebeat是什么，可以用来干嘛 Filebeat的原理是怎样的，怎么构成的 Filebeat应该怎么玩Filebeat和Beats的关系首先Filebeat是Beats中的一员。Beats在是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、CPU、io等资源消耗比较高。相比Logstas.
2021-03-17 14:05:35
844
原创 Linux运维常用命令总结
1.删除0字节文件find -type f -size 0 -exec rm -rf {} \;2.查看进程按内存从大到小排列PS -e -o "%C : %p : %z : %a"|sort -k5 -nr3.按cpu利用率从大到小排列ps -e -o "%C : %p : %z : %a"|sort -nr4.打印说cache里的URLgrep -r -a jpg /data/cache/* | strings | gr...
2021-03-17 13:50:41
394
1
原创 运维监控之-Zabbix通过api监控k8s
监控方式：python+zabbix_sender原理：python的request库，请求k8s的api地址，对数据处理。第一步：获取k8s的api地址查看K8S的api地址的命令如下（最好在K8s集群的master上执行这条命令，因为如果在node节点上执行该命令有可能会获取旧的api地址）第二步：K8S集群的Master主机生成一个token用来认证，请求数据api数据生成令牌命令如下（在K8S的Master主机执行命令）kubec...
2021-03-05 10:35:18
464
1
转载 Spring Boot 使用 Micrometer 集成 Prometheus 监控 Java 应用性能
1、Micrometer 介绍Micrometer 为 Java 平台上的性能数据收集提供了一个通用的 API，它提供了多种度量指标类型（Timers、Guauges、Counters等），同时支持接入不同的监控系统，例如 Influxdb、Graphite、Prometheus 等。我们可以通过 Micrometer 收集 Java 性能数据，配合 Prometheus 监控系统实时获取数据，并最终在 Grafana 上展示出来，从而很容易实现应用的监控。Micrometer 中有两个最核心的
2021-03-02 12:02:36
1505
2
原创 Tidb分布式数据库使用HAproxy实现负载均衡
TiDB 简介TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLA...
2021-02-05 17:45:07
978
原创 微服务架构之基于容器编排的DevOps流程
敏捷开发大道至简，所有血的教训告诉我们，不要把简单的事情复杂化。换句话说，不要用复杂的方法处理简单的事情。我对敏捷的理解是「快」和「微」。快指迭代快，开发快，上线快，性能快。微指微服务、微镜像。围绕这两点，在开发阶段我们需要做以下几件事：应用微服务化这是个比较大的概念，不在这里讨论，有兴趣可以参考我的其他文章。但只有应用小了，才有可能快起来。给 Docker 镜像瘦身为了让 Docker 启动和运行得快，首先就是要对 Docker 瘦身。由于所有的应用全部会统一为 Java 语言开发，所
2021-02-02 15:25:19
501
原创 三分钟搭建开源的SQL审核查询平台Archery
介绍Archery定位于SQL审核查询平台，旨在提升DBA的工作效率，支持多种数据库的SQL上线和查询，同时支持丰富的MySQL运维功能，所有功能都兼容手机端操作功能清单快速开始Docker准备运行配置克隆：git clone https://gitee.com/rtttte/Archery.git#启动docker-compose -f docker-compose.yml up -d#查看：docker-compose ps#表结构
2021-01-08 14:23:33
1561
原创 三分钟搭建开源的工单系统ferry
源码：https://gitee.com/yllan/ferry官方安装文档：https://www.fdevops.com/docs/ferry-tutorial-document/introductiondocker安装：第一步、拉取最新的代码# 以下命令二选一即可：git clone https://github.com/lanyulei/ferry.gitgit clone https://gitee.com/yllan/ferry.git # 国内推荐，较快第二步.
2021-01-06 11:32:54
20972
11
转载 一文讲懂什么是vlan、三层交换机、网关、DNS、子网掩码、MAC地址
一文讲懂什么是vlan、三层交换机、网关、DNS、子网掩码、MAC地址很多朋友多次问到什么是网关、dns、子网掩码，三层交换机，它们定位的用途；确实，因为网络技术在弱电中确实应用非常广泛，我们平时在vip技术群中也是不断的讨论到网关、vlan、三层交换机或子网掩码等问题，今天我们就一起用通俗方式一次性了解清楚。一、什么是vlan?VLAN中文是“虚拟局域网”。LAN可以是由少数几台家用计算机构成的网络，也可以是数以百计的计算机构成的企业网络。VLAN所指的LAN特指使用路由器分割的网..
2020-12-28 14:10:44
193
原创 三分钟搭建开源堡垒机JumpServer
一、简介前面我们聊到了openvpn的部署和使用，它能够实现从互联网通过openvpn连接到公司内网服务器，从而进行远程管理；但openvpn有一个缺点它不能记录哪些用户在内网服务器上操作了什么，拥有客户端的证书和私钥以及ca的证书和客户端配置，就可以直接连接到公司内网，这从某些角度讲不是一个安全的解决方案；今天我们来聊一款和openvpn有类似功能的软件jumpserver；jumpserver和openvpn都可以让用户从互联网连接公司内网服务器；但通常jumpserver都不会放在互联网；
2020-12-28 11:03:00
2623
2
原创 三分钟搭建超轻量级开源云平台（Nano）
基于KVM技术，使用Go语言开发，简单易学的虚拟机管理软件，从Web管理门户、主机监控、镜像克隆到故障切换，功能完备，开箱即用，数分钟之内即可将您的服务器集群升级为云主机平台。快速安装指引Nano平台提供了Installer安装程序用于自动化部署，最新版本Installer可以通过官网下载或者Github发布页面获取。Installer会自行选择最合适的配置进行建议，对于初次安装Nano的新用户，安装过程中尽量不要调整任何参数，如需调整参数、修改配置或者直接升级二进制文件，请在熟...
2020-12-24 18:07:49
4615
2
转载 为什么不建议把数据库部署在Docker容器内
近2年Docker非常的火热，各位开发者恨不得把所有的应用、软件都部署在Docker容器中，但是您确定也要把数据库也部署的容器中吗？这个问题不是子虚乌有，因为在网上能够找到很多各种操作手册和视频教程，这里整理了一些数据库不适合容器化的原因供大家参考，同时也希望大家在使用时能够谨慎一点。目前为止将数据库容器化是非常不合理的，但是容器化的优点相信各位开发者都尝到了甜头，希望随着技术的发展能够更加完美的解决方案出现。Docker不适合部署数据库的7大原因1、数据安全问题不要将数据储存在容器中，这也
2020-11-06 15:06:11
600
原创 docker安装部署sentry实时错误追踪系统
docker安装部署sentrySentry 是一个开源的实时错误追踪系统，可以帮助开发者实时监控并修复异常问题。它主要专注于持续集成、提高效率并且提升用户体验。Sentry 分为服务端和客户端 SDK，前者可以直接使用它家提供的在线服务，也可以本地自行搭建；后者提供了对多种主流语言和框架的支持，包括 React、Angular、Node、Django、RoR、PHP、Laravel、Android、.NET、JAVA 等。同时它可提供了和其他流行服务集成的方案，例如 GitHub、GitLab、b
2020-09-08 16:44:20
523
1
原创 容器化之-可视化镜像仓库管理(Harbor+阿里云oss)
什么是HarborHarbor是一个开放源代码注册中心，它通过策略和基于角色的访问控制来保护工件，确保扫描图像并使其免受漏洞侵害，并将图像签名为受信任的。Harbor是CNCF毕业的项目，可提供合规性，性能和互操作性，以帮助您跨Kubernetes和Docker等云原生计算平台持续，安全地管理工件。介绍：1、离线安装harbor2、配置harborhttps 相关证书openssl 生成3、利用docker 命令登录harbor4、演示将本地镜像上传到服务器5、将harbo...
2020-09-03 20:36:40
2432
原创 ES学习构建EKL海量日志分析平台
下往上看1.Gateway代表ES数据持久化概念，ES建立索引默认存储在内存，ES只有当内存不足或关闭重新启动的情况下才持久化到磁盘里面，支持多种Gateway。2.lucene Directory它是lucene 索引文件组成的一些目录，负责管理一些索引文件和数据的读取写入（添加 删除 合并等等）3.River 代表一个数据源，以插件的形式读取数据方式。4.Mapping 映射...
2020-09-02 21:43:54
339
原创 自动化运维Ansible 一键部署环境(实战)
1、准备4台centost7IP：192.168.1.71 主控端IP：192.168.1.72 被控端 web01IP：192.168.1.73 被控端 web02IP：192.168.1.74 被控端 lb012、目前被控端很干净的环境（最小化安装的centos）目...
2020-08-13 08:49:58
5834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人