- 博客(89)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 基于Doris构建亿级数据实时数据分析系统
随着公司业务快速发展，对业务数据进行增长分析的需求越来越迫切，与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右，一年就会产生1 个亿的数据，显然基于传统MySQL数据库已经无法支撑满足以上需求基于上述需求和痛点，决定提供一个灵活的多维实时查询和分析平台，帮助业务线做精细化运营。
2024-02-17 13:23:39
1207
原创 什么是数据同步利器DataX，如何使用？
DataX 是阿里云DataWorks数据集成的开源版本，使用Java 语言编写，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
2024-02-17 13:21:04
352
原创 我的公众号2023运营总结
转眼间已经 2024了，我的公众号`架构成长指南`运营也算是有一年了，在这里感谢各位粉丝朋友们的关注，文末有封面红包领取，下面分享一下我这一年运营结果
2024-02-04 10:22:47
455
原创 10 分钟在K8s 中部署轻量级日志系统 Loki
以上我们快速演示了如何在 k8s 中部署一个Loki，可以看到非常简单，由于Loki 对k8s友好支持，默认就可以采集到pod、namespace 等标签数据，不需要额外配置，但是要达到生产级可用，还需要对 Loki的数据进行持久化配置、同时要根据采集日志数据的大小做好采集速率调整、以及日志过期策略设置又到过年了，龙年红包封面是必备的，大家不要花钱购买了，我制作一款封面红包，数量4千个，效果如下领取方法，关注公众号架构成长指南，回复「封面」领取。
2024-02-03 21:45:57
1517
原创 Kubernetes包管理神器Kustomize与Helm对比
Kustomize 是 k8s集群的配置定制工具。它允许管理员使用非模板文件进行声明性更改，而不影响原始清单文件。所有自定义规范都包含在文件中，该文件将规范叠加在现有清单之上以生成资源的自定义版本。比如我们有一个应用，需要在生产环境和测试环境部署，并且它的 yaml 配置大部分是相同的，只有少数的字段不同，那么这时候就可以用kustomize 来解决下面通用示例演示如何使用 Kustomize 进行最小 K8s 部署，将资源部署到开发和生产环境。
2024-02-03 21:40:56
1065
原创 分库分表已成为过去式，快试试分布式数据库
当我们使用 Mysql数据库到达一定量级以后，性能就会逐步下降，而解决此类问题，常用的手段就是引入数据库中间件进行分库分表处理，比如使用 `Mycat`、`ShadingShpere`、`tddl`，但是这种都是过去式了，现在使用分布式数据库可以避免分库分表
2024-01-25 13:08:15
945
原创 什么是 doris，为什么几乎国内大厂都会使用它
今天给各位分享一个非常牛的实时分析型数据库Apache Doris，几乎国内的一二线大厂都在使用它做数据分析
2024-01-25 13:00:13
1253
原创 并发扣款，如何保证结果一致性
保证在高并发下场景下，对账户余额操作的一致性，是非常重要的，如果代码写的时候没考虑并发一致性，就会导致资损，本人在金融行业干了 8 年多，对这块稍微有点经验，所以这篇聊一下，如何在并发场景下，保证账户余额的一致性
2024-01-16 09:19:44
828
原创 在分布式事务场景下，如何设计一个高可靠的跨系统转账
如何设计一个高可靠的系统转账，可以看到还是比较复杂的，细节很多，主要要考虑补偿、安全、并发扣款几方面，这几方面做好才能设计一个高可靠的系统转账。
2024-01-16 09:17:38
888
原创 什么是Helm？它是如何提升云原生应用私有化部署效率的
如果有一个项目有50 个微服务，算下来大概有 200 个文件，然后这个项目需要基于k8s进行私有化交付，如果是你会怎么快速部署应用？
2024-01-10 15:58:40
996
原创 Prometheus 与 VictoriaMetrics对比
本文分析Prometh】eus和VictoriaMetrics之间的差异，以为特定需求的用户提供最合适的解决方案。
2024-01-09 11:03:53
953
原创 如何使用 Prometheus 监控SpringBoot系统
在[从零开始：使用Prometheus与Grafana搭建监控系统中，主要讲解了如何使用监控系统资源并进行告警，这节主要分享下，如何在业务系统中使用Prometheus来监控业务系统指标，业务系统使用Spring Boot构建。
2023-12-29 16:00:50
912
原创 5 分钟体验下一代轻量级日志分析系统Loki
Loki是由Grafana Labs开源的一个水平可扩展、高可用性，多租户的日志聚合系统的日志聚合系统。它的设计初衷是为了解决在大规模分布式系统中，处理海量日志的问题。Loki采用了分布式的架构，并且与Prometheus、Grafana密切集成，可以快速地处理大规模的日志数据
2023-12-24 19:59:26
563
原创 SRE 与 DevOps：你知道它们之间区别吗？
DevOps专注于消除阻碍开发和运维之间协作的隔阂，而SRE致力于设计和实施可扩展、可靠的系统，确保最大可靠性。这篇文章将探讨DevOps和SRE之间的差异，它们的角色和责任，它们解决的问题以及它们使用的工具。
2023-12-24 19:56:26
867
原创 如何使用Promethues监控系统指标并进行告警
在以上二节，我们介绍了如何使用Prometheus的Pull和Push模式来采集系统指标并在 Grafana进行展现，本节我们介绍如何使用Prometheus的AlertManager进行邮件告警通知。morePrometheus是一种用于监控和告警的开源系统，而Alertmanager是Prometheus生态系统中的一个组件，主要用于告警通知。
2023-12-18 12:54:26
167
原创 Prometheus如何使用 Push 方式采集目标服务器数据
在上篇，我们了解了Prometheus采集数据主要是采用Pull模式，即主动拉取模式，这种方式虽然简单，但是有一定限制，比如服务器A部署在边缘端与Prometheus部署在云端，两者网络不通，因此不能采用Pull模式。more那么如何获取服务器 A 的指标？答案就是采用，这里Pushgateway充当了一个桥接的作用，把Pushgateway服务暴漏一个公网地址，然后服务器 A 与Prometheus都能连接即可。
2023-12-18 12:51:29
446
1
原创 生产实践：基于K8S私有化交付要注意这几点问题
在使用 k8s 进行项目私有化部署时，会遇到很多问题，以下把作者经常遇到的一些问题以及需要注意的点分享给各位。
2023-12-13 14:16:22
41
原创 入门指南：使用Prometheus监控Linux服务器
Prometheus是一款开源的监控系统，主要用于收集、存储和查询时间序列数据，以便于对系统进行监控和分析。以下是Prometheus的架构图介绍：同时Prometheus有以下优点灵活的数据模型：Prometheus采用的是key-value对的形式存储指标数据，每个指标都可以包含多个标签（labels），这样可以更加灵活地描述指标数据。例如，可以使用标签来描述不同的机器、不同的应用程序、不同的数据中心等，从而更加细粒度地监控系统。
2023-12-07 23:31:12
260
原创 生产实践：使用 GlusterFS 搭建 Kubernetes 存储卷集群
在上一篇文章中，我们已经介绍了如何进行基于k8s做私有化部署。现在我们将重点讨论如何使用 GlusterFS 搭建一个可靠的存储解决方案，以供 Kubernetes 集群使用。
2023-12-07 23:23:43
191
原创 Google Guava 的Preconditions类各种用法
Preconditions类_提供_静态方法列表，用于检查是否使用有效参数值调用方法或构造函数。如果前提条件失败，则会抛出指定异常。
2023-12-05 22:59:59
281
原创 生产实践：基于K8S的私有化部署解决方案
随着国内数字化转型的加速和国产化进程推动，软件系统的私有化部署已经成为非常热门的话题，因为私有化部署赋予了企业更大的灵活和控制权，使其可以根据自身需求和安全要求定制和管理软件系统。下面分享下我们的基于k8S私有化部署经验。
2023-12-05 09:51:35
260
原创 Spring Bean 命名各种方式，看着一篇就够了
在 Spring 框架中，每个 bean 必须至少有一个唯一的名称。Spring 遵循简单且默认的命名策略来确定 bean 的名称，无论我们使用 XML 配置还是基于Java代码配置。本文将详细讨论这些策略。
2023-12-02 19:46:15
240
原创 什么是革命性技术eBPF？为什么可观测性领域都得用它
如果有一种技术可以监控和采集任何应用信息，支持任何语言，并且应用完全无感知，零侵入，想想是不是很激动，那么这个技术是什么呢？就是eBPF，它应该是最近一两年非常热门的技术名词，我相信你或多或少都看到过，但可能不知道它能做什么，今天我们来讲讲这个革命性的技术eBPF，以及它在可观测领域的应用eBPF是什么？
2023-12-02 19:00:08
570
原创 这是怎么了？继阿里11月故障后，淘宝这个问题20 天了还未修复！
继11月12号，阿里云发生大面积故障故障以来，已经过去了近 20天，但是截止到发文时间，作者发现淘宝还有部分功能存在问题，没法正常使用。难道真是降本增笑，开猿截流，导致没有相关负责人员了？降本也得保证核心的功能可以正常使用吧！
2023-12-01 22:29:41
90
原创 从物理机到K8S：应用系统部署方式的演进及其影响
随着科技的进步，软件系统的部署架构也在不断演进，从以前传统的物理机到虚拟机、Docker和Kubernetes，我们经历了一系列变化。下面了解如何从传统部署走向现代化架构，为软件系统的开发和部署带来更多的便利和灵活性。
2023-11-30 12:43:37
276
原创 通过滴滴技术博客：探寻造成此次P0故障的真正原因
2023年11月27日晚至2023年11月28日，滴滴发生了长达12小时的P0级故障，目前已经确定是K8s升级导致，那升级为什么产生问题，可以从**滴滴的10月份的k8s文章看出**
2023-11-30 10:35:11
160
原创 最新消息：滴滴 P0 事故原因，原因出来了
最新消息滴滴P0故障原因，是由于k8s集群升级导致的，后面又进行版本回退，由于现在大型互联网公司基本都是基于K8s进行部署的，如果K8s集群一出问题，上面运行的业务Pod和运维系统全部都得宕机，导致没法回滚。其次k8s系统架构还是非常复杂的，
2023-11-29 18:30:45
679
原创 最佳实践-使用RKE快速部署高可用k8s集群
Rancher Kubernetes Engine（RKE）是一个用于部署、管理和运行Kubernetes集群的开源工具。旨在简化Kubernetes集群的部署和操作。简化的部署过程RKE提供了一个简单的命令行界面，使您可以轻松地部署一个完整的Kubernetes集群。您只需提供少量的配置信息，RKE将自动处理底层节点的配置和组网，并在节点上安装所需的Kubernetes组件。可移植性和灵活性RKE支持多种操作系统和云平台，包括Linux、Windows、AWS、Azure、GCP等。
2023-11-29 12:35:04
187
原创 Kubernetes 中的服务注册与发现原理分析
服务注册与发现是一种机制，用于在集群中动态地发现和连接不同的服务，比如我们在开发微服务时，经常使用的EurekaNacos等Service B 把自己注册到 Service Registry 叫做 服务注册Service A 从 Service Registry 发现 Service B 的节点信息叫做 服务发现。
2023-11-29 12:28:09
172
原创 解密Spring Cloud微服务调用：如何轻松获取请求目标方的IP和端口
Spring Cloud 线上微服务实例都是2个起步，如果出问题后，在没有ELK等日志分析平台，如何确定调用到了目标服务的那个实例，以此来排查问题
2023-11-27 13:01:53
572
原创 超实用:通过文字就可以操纵这款AI表格，不需要你懂Excel函数
今天给大家分享超实用的AI表格ChatExcel，这个工具是由北大团队在2022年3月开始开发的AI表格处理神器，上传你的表格后，只需要用文字描述你的需求，不需要你懂excel函数，AI就会自动帮你搞定。
2023-11-25 13:43:01
106
原创 想基于AI变现吗，这个Star有1.8K的开源项目分享给你
在如今AI爆发的时代，每个人都想借着AI这股风，进行变现，今天给大家分享一个开源项目，他可以让你基于AI的能力进行变现这个项目在Github有1.8k个star，可见其欢迎程度，作者关注这个项目的时候，名称还为，现在已经更名为aibeehive这个项目主要功能是对接了各大AI平台，比如chatGPT3.0chatGPT4.0文心一言new BingMidjourney等，然后再这个平台上可以连接这些app，并进行对话
2023-11-24 12:47:40
204
1
原创 生产实践：Redis与Mysql的数据强一致性方案
保证Redis和Msql数据同步，并且强一致，以此来提高对应接口的响应速度，刚开始考虑是用mybatis的二级缓存，发现坑不少，于是决定自己搞
2023-11-24 12:45:49
157
原创 Java Stream中的API你都用过了吗？
在本教程中，您将通过大量示例来学习 Java 8 Stream API。Java 在 Java 8 中提供了一个新的附加包，称为。该包由类、接口和枚举组成，允许对元素进行函数式操作。您可以通过在程序中导入包来使用流。
2023-11-22 12:39:06
49
原创 滚动更新和回滚部署在 Kubernetes 中的工作原理
`Kubernetes` 的一个显著特性是其具有弹性的能力，能够执行滚动更新和回滚部署，而能够完成这些滚动更新和回滚，主要是由`Deployment`来实现的，下面就讲解下`Deployment`的相关知识
2023-11-20 12:41:57
164
原创 JAVA中的函数接口，你都用过吗
在这篇文章中，我们将通过示例来学习 Java 函数式接口FunctionalInterface。1. 只包含一个抽象方法的接口称为函数式接口。2. 它可以有任意数量的默认静态方法，但只能包含一个抽象方法。它还可以声明对象类的方法。3. 函数接口也称为单一抽象方法接口或SAM 接口。4. 函数式接口只有在没有任何抽象方法时才可以扩展另一个接口。5. Java API 具有许多单方法接口
2023-11-19 12:16:42
116
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人