- 博客(40)
- 收藏
- 关注
RSS订阅原创 【Big Data】Alluxio 首个基于云的数据分析和开源AI数据编排技术
Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。
2025-08-29 20:35:58
749
1
原创 【序列晋升】20 Spring Cloud Function 函数即服务(FaaS)
Spring Cloud Function是Spring Cloud生态系统中的一个模块，它提供了一种函数式编程模型，使开发者能够将业务逻辑抽象为独立的函数，并通过统一的接口在多种环境中运行。作为Java语言在函数即服务(FaaS)领域的核心解决方案，Spring Cloud Function简化了云原生应用的开发和部署流程，同时保留了Spring生态系统的强大功能。
2025-08-29 11:30:00
1013
4
原创 【Big Data】Presto db 一种语言、一个接口搭建可靠、高效数据湖仓
Presto用于数据分析和开放湖屋的快速可靠的 SQL 查询引擎。对于难以管理多种查询语言以及孤立数据库和存储接口的数据工程师来说，Presto 即是一款快速可靠的引擎，它也为您的所有数据分析和开放数据湖提供一个简单的 ANSI SQL 接口。
2025-08-28 11:33:29
1727
7
原创 【序列晋升】19 Spring Cloud Contract 微服务架构中的契约守护者
pring Cloud Contract 是一个伞式项目，拥有帮助用户成功实施消费者驱动合同方法的解决方案。目前，Spring Cloud Contract 由 Spring Cloud Contract Verifier 项目组成。Spring Cloud Contract Verifier 是一种支持基于 JVM 的应用程序的消费者驱动合约 （CDC） 开发的工具。它附带了用 Groovy 或 YAML 编写的合约定义语言 （DSL）。
2025-08-28 09:00:00
493
5
原创 【序列晋升】18 Spring Cloud Consul 微服务治理的“一站式“解决方案
Spring Cloud Consul是Spring Cloud生态系统中集成HashiCorp Consul的模块，它为微服务架构提供了一套完整的服务治理解决方案。Spring Cloud Consul的核心优势在于将服务发现、配置管理、健康检查等功能整合在一个工具中，无需依赖多个组件 ，简化了微服务架构的复杂性。
2025-08-27 19:45:00
788
4
原创 【Big Data】Apache sqoop 大数据管道的核心组件
Apache_sqoop作为大数据生态系统中的重要工具，在关系型数据库与Hadoop平台之间架起了一座高效的数据传输桥梁 。
2025-08-27 11:45:00
1909
6
原创 【序列晋升】17 Spring Cloud Config 分布式系统却含有集中化配置
Spring Cloud Config 为分布式系统中的外部化配置提供服务器端和客户端支持。借助 Config Server，您可以在一个集中位置管理所有环境中应用程序的外部属性。 客户端和服务器上的概念与 Spring 和抽象的映射相同，因此它们非常适合 Spring 应用程序，但可以与以任何语言运行的任何应用程序一起使用。 当应用程序在部署管道中从开发到测试再到生产时，您可以管理这些环境之间的配置，并确保应用程序在迁移时具有运行所需的一切。
2025-08-26 17:51:27
1194
9
原创 【序列晋升】16 Spring Cloud Commons 微服务组件的瑞士军刀
Spring Cloud Commons是Spring Cloud生态系统的核心基础模块，它提供了一套与实现无关的通用抽象接口，简化了微服务架构中各组件的集成和使用 。作为微服务开发的"瑞士军刀"，它使得开发者能够专注于业务逻辑，而不必为底层组件的实现细节所困扰。
2025-08-26 12:00:00
938
2
原创 【序列晋升】15 Spring Cloud CLI 官配命令行加速引擎
Spring Boot CLI 为 Spring Cloud 提供了 Spring Boot 命令行功能。您可以编写 Groovy 脚本来运行 Spring Cloud 组件应用程序。您还可以轻松执行加密和解密等作，以支持具有秘密配置值的 Spring Cloud Config 客户端。使用 Launcher CLI，您可以方便地从命令行一次启动 Eureka、Zipkin、Config Server 等服务（在开发时非常有用）。
2025-08-25 19:00:00
783
2
原创 【Big Data】Apache Impala 实时大数据分析引擎
Apache Impala 是一个开源的、高性能的分布式 SQL 查询引擎，专为 Hadoop 生态系统设计，能够直接查询存储在 HDFS 或 HBase 中的大数据集。Impala 采用大规模并行处理（MPP）架构，通过绕过 MapReduce 框架，直接访问数据存储系统，实现了低延迟的交互式分析能力，填补了 Hadoop 生态中实时查询的空白。
2025-08-25 11:46:01
1456
6
原创 【Big Data】Apache ZooKeeper 一个动物管理员的自我修养
ZooKeeper 是一种集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务。分布式应用程序以某种形式使用所有这些类型的服务。每次实现它们时，都需要做大量工作来修复不可避免的错误和竞争条件。由于实现此类服务的困难，应用程序最初通常会吝啬它们，这使得它们在变化时变得脆弱且难以管理。即使作正确，这些服务的不同实现也会导致部署应用程序时的管理复杂性。
2025-08-24 16:45:42
1018
4
原创 【序列晋升】14 Spring Cloud Circuit Breaker：微服务架构的弹性守护者
Spring Cloud Circuit Breaker是微服务架构中防止服务雪崩的关键容错组件，它通过熔断、降级、限流等机制保护服务调用链路，确保系统整体稳定性。 作为Spring Cloud生态系统的核心组件之一，它为分布式系统提供了断路器模式的实现，能够有效应对服务间依赖导致的级联故障。
2025-08-24 12:30:00
943
4
原创 【Big Data】Apache Flume海量日志采集的高速公路
Apache Flume是一个分布式、可靠且高可用的日志采集系统，专为收集、聚合和传输海量日志数据而设计。作为Apache软件基金会的顶级项目，Flume已成为大数据生态系统中不可或缺的组件，广泛应用于从Web服务器、应用服务器、数据库等系统中收集日志数据，并将其高效可靠地传输到HDFS、HBase、Kafka等存储或处理系统 。
2025-08-23 18:45:19
1076
原创 【序列晋升】13 Spring Cloud Bus微服务架构中的消息总线
Spring Cloud Bus作为微服务架构中的关键组件，通过消息代理实现分布式系统中各节点的事件广播与状态同步，解决了传统微服务架构中配置刷新效率低下、系统级事件传播复杂等问题。它本质上是一个轻量级的事件总线，将Spring Boot Actuator的端点功能扩展到分布式环境中，使开发者能够通过统一的接口管理微服务集群的配置更新和状态变化。
2025-08-23 17:01:54
752
4
原创 【Big Data】Hadoop YARN 大数据集群的 “资源管家”
Apache Hadoop YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的核心资源管理框架，通过解耦资源管理和任务调度，提供了一个通用的分布式计算资源调度平台，使Hadoop从单一的MapReduce框架演进为支持多种计算模式的生态系统。
2025-08-22 22:42:14
857
原创 【序列晋升】12 Spring Boot 约定优于配置
Spring Boot 是 Spring 框架的脚手架工具，它基于 Spring 框架，通过 "约定优于配置" 的理念，简化了 Spring 应用的初始搭建和开发过程。你可以把它理解为：Spring Boot = Spring Framework + 自动配置 + 嵌入式服务器 + starter 依赖它不是对 Spring 功能的增强，而是提供了一种更快速、更简单的方式来使用 Spring。核心目标是让开发者能够 "Run Anything"—— 只要写好业务逻辑，就能快速运行一个生产级别的应用。
2025-08-22 22:00:25
1305
2
原创 【序列晋升】11 Spring Framework从初识原理到手搓容器
pring框架是Java企业级应用开发的革命性解决方案，通过控制反转和面向切面编程等创新技术，彻底改变了传统J2EE开发的复杂性和侵入性。 作为轻量级、非侵入式的Java应用框架，Spring不仅提供了强大的IoC容器管理对象生命周期，还通过AOP技术实现横切关注点的模块化处理，为Java开发者带来前所未有的开发体验。
2025-08-21 21:55:31
759
2
原创 【Big Data】Apache HBase分布式 NoSQL 数据库
Apache HBase 是一个分布式、可扩展、面向列的 NoSQL 数据库，设计用于在 commodity hardware（普通硬件）上存储和处理海量结构化和半结构化数据。它借鉴了 Google 的 BigTable 论文思想，运行在 Hadoop 分布式文件系统（HDFS）之上，为超大规模数据提供高可靠性、高吞吐量和随机实时读写能力。
2025-08-20 21:07:59
1202
原创 【Big Data】Apache Pig大数据处理的高效利器
Apache Pig 作为 Hadoop 生态中的经典工具，凭借其简单易用的脚本语言、灵活的数据模型和高效的开发体验，至今仍在大数据处理领域发挥着重要作用。它的核心价值不在于 “性能极致”，而在于 “平衡效率与复杂度”—— 让开发者能用最少的代码完成复杂的数据处理任务。
2025-08-20 11:30:52
1234
2
原创 【序列晋升】10 Istio微服务架构的“隐形指挥官”
Apache Istio 是一个开源的服务网格平台，它为微服务架构提供了统一的流量管理、安全通信、可观测性和政策控制能力。简单来说，Istio 就像微服务集群中的 "交通指挥官" 和 "安全卫士"，它能管理服务间的通信流量，保护服务间的交互安全，同时监控整个系统的运行状态，让开发人员可以专注于业务逻辑，而无需关注服务治理的细节。
2025-08-19 23:48:47
752
3
原创 【Big Data】Spark为何成为大数据引擎之王
Apache Spark作为当前大数据领域最流行的计算引擎之一，凭借其革命性的内存计算和弹性分布式数据集(RDD)架构，成功解决了Hadoop MapReduce在迭代计算、交互式查询和流式处理等场景下的性能瓶颈。Spark通过将数据缓存在内存中而非频繁落盘，实现了比MapReduce高100倍的处理速度 ，同时其丰富的生态系统和多语言支持使其成为数据科学、机器学习和实时分析的首选工具。
2025-08-18 15:52:38
1278
2
原创 【序列晋升】：9 Service Mesh微服务通信的基础设施革命
Service Mesh（服务网格）是一种专门用于处理微服务间通信的基础设施层，它通过将原本嵌入应用代码的网络通信逻辑下沉到独立的代理层，为分布式系统提供了统一的流量管理、安全通信和可观测性能力。随着微服务架构的普及，服务间通信的复杂性呈指数级增长，传统解决方案（如API网关、Spring Cloud等）在应对跨语言、跨平台、大规模服务治理时显得力不从心。Service Mesh的出现，标志着微服务通信治理进入了一个全新的阶段，从代码层面的治理转向了基础设施层面的统一管理。
2025-08-18 15:02:53
1528
2
原创 【Big Data】Hive技术解析：大数据仓库的SQL桥梁
Apache Hive 是一个分布式容错数据仓库系统，可实现大规模分析。 Hive Metastore （HMS） 提供了一个元数据的中央存储库，可以轻松分析以提供信息， 数据驱动的决策，因此它是许多数据湖架构的关键组件。 Hive 建立在 Apache Hadoop 之上，通过 hdfs 支持 S3、adls、gs 等上的存储。 Hive 允许用户使用 SQL 读取、写入和管理 PB 级数据。
2025-08-17 20:38:44
1064
3
原创 【序列晋升】：8 Spring Cloud微服务体系
微服务是一种现代的软件方法，应用程序代码以小的、可管理的部分交付，独立于其他部分。它们的规模小和相对隔离可以带来许多额外的好处，例如更轻松的维护、提高生产力、更大的容错能力、更好的业务一致性。
2025-08-17 11:19:34
855
2
原创 【Big Data】Apache Hudi：数据湖的实时革命
pache Hudi（发音为 “Hoodie”）是一个开源的数据湖管理框架，全称为Hadoop Upserts Deletes and Incrementals。它旨在简化增量数据处理，为数据湖提供 ACID 事务支持、高效的更新删除操作、数据版本管理和增量数据查询等核心能力。简单来说，Apache Hudi 就像是数据湖的 “管理员”，它让原本杂乱无章的 “数据沼泽” 变得有序可控，让开发者能够像操作数据库一样对数据湖中的大规模数据进行灵活的增删改查。
2025-08-16 15:24:55
1224
2
原创 序列晋升7：架构原则三十诫
软件架构方法论是应对复杂系统设计的核心思维框架，旨在通过系统性方法指导软件组件的分解、组织与协作，平衡功能实现与质量属性（如性能、可维护性、扩展性）。从早期单体架构的“功能堆砌”，到分布式时代的SOA、微服务，再到云原生的Serverless与Service Mesh，架构方法论随技术演进不断迭代——其本质始终是用结构化思维化解不确定性。
2025-08-16 13:35:10
1066
10
原创 【Big Data】Apache Flink 分布式计算框架的崛起
在大数据处理领域，实时性与准确性的平衡始终是技术突破的核心方向。Apache Flink 作为当前最受关注的分布式计算框架之一，以 “流批一体” 的设计理念重新定义了大数据处理的范式。本文将从技术本质出发，系统解析 Flink 的诞生背景、架构设计、核心能力及实践方法，帮助技术开发人员全面掌握这一高性能计算框架。
2025-08-15 17:36:14
747
2
原创 序列晋升6：ElasticSearch深度解析，万字拆解
ElasticSearch是一个开源的分布式全文检索引擎，支持实时扩容和海量数据处理。文档总结了ES的核心概念、安装配置、分词器应用、索引管理和REST API等关键技术。内容涵盖：基本构成（索引/分片/文档）、字段类型、集群架构、倒排索引原理；详细安装步骤包括ES、LogStash、kibana和ik中文分词器；索引管理方法（创建/修改/迁移）和安全配置（SSL/密码）；常用REST API操作（增删改查/批量处理）以及系统监控命令。
2025-08-15 16:52:03
855
3
原创 【Big Data】Apache Kudu：实时与分析的完美融合
大数据技术飞速发展的浪潮中，数据存储与处理技术始终是支撑业务创新的核心基石。随着实时数据分析、高频数据交互等场景的日益普及，传统大数据存储系统逐渐暴露出难以调和的性能矛盾。Kudu 作为一款面向实时分析场景的分布式列存数据库，应运而生并迅速成为大数据生态中的重要一员。本文将从诞生背景、核心价值、技术架构到实践方法，全方位剖析 Kudu 技术的精髓。
2025-08-14 15:15:38
995
1
原创 序列晋升5：Redis全网最全，仅此一份
Redis是基于内存的高性能键值数据库，支持多种数据结构。采用单线程模型避免多线程竞争，通过多路I/O复用提升网络吞吐。6.0版本引入多线程I/O优化网络瓶颈。支持主从复制、哨兵和集群模式实现高可用，提供RDB和AOF持久化方式。配置灵活，可调整内存管理、惰性删除等策略。常见缓存问题包括穿透、击穿和雪崩，可通过技术手段防范。安装部署简单，支持系统服务化管理，提供性能测试工具。
2025-08-14 09:00:00
570
原创 RabbitMQ 教程：从诞生到实践的技术指南
在分布式系统架构中，消息中间件是解决系统解耦、异步通信、流量削峰的核心组件。RabbitMQ 作为全球最流行的开源消息中间件之一，凭借其高可靠性、灵活的路由机制和标准化的协议支持，广泛应用于电商、金融、物联网等领域。本文将从诞生背景、核心设计、关键特性、技术对比到实战使用，为开发者提供一份系统化的知识指南。
2025-08-13 15:05:17
1501
2
原创 序列晋升4：MySQL数据库的自我救赎
MySQL优化与数据切分摘要 本文系统介绍了MySQL性能优化与数据切分技术。在基本优化方面，重点分析了InnoDB存储引擎特性，包括缓存机制(innodb_buffer_pool_size)、事务处理(innodb_flush_log_at_trx_commit参数调优)和四种隔离级别的应用场景。存储结构部分详细解析了page-extent-segment-tablespace的层级关系，对比了独立表空间与共享表空间的优缺点。索引优化章节强调了合理使用索引的重要性
2025-08-13 11:31:32
1139
3
原创 【Big Data】HDFS：大数据时代的分布式存储基石
HDFS（Hadoop分布式文件系统）是Apache Hadoop生态系统的核心组件，专为大规模数据集设计，能够在廉价商用硬件上提供高可靠性和高吞吐量的数据存储服务。 作为大数据处理的基础设施，HDFS解决了传统文件系统在处理海量数据时面临的扩展性、容错性和吞吐量瓶颈问题，为MapReduce等分布式计算框架提供了理想的底层存储支持。本文将从HDFS的诞生背景、架构设计、核心特性到使用方法进行全面解析，帮助技术开发人员深入了解这一分布式存储系统的技术原理与实践应用。
2025-08-12 14:35:09
1058
3
原创 序列晋升3：JVM从诞生到调优，技术进阶必备的底层知识
作为 Java 生态的核心基石，Java 虚拟机（JVM）支撑着全球数十亿设备的 Java 应用运行。对于技术开发人员而言，理解 JVM 不仅是进阶的必备知识，更是写出高性能、高可靠代码的关键。本文将系统讲解 JVM 的诞生背景、核心价值、架构设计、运行原理及调优实践，帮助开发者构建完整的 JVM 知识体系。
2025-08-12 10:51:43
850
2
原创 【Big Data】FastDFS 全面解析：从诞生到实践
随着互联网应用的蓬勃发展，文件存储需求呈现爆发式增长。图片、视频、文档等各类文件的存储与管理成为技术开发中的关键环节。FastDFS 作为一款轻量级分布式文件系统，在这样的背景下应运而生，为中小文件存储提供了高效解决方案。本文将全面剖析 FastDFS，从其诞生背景、要解决的问题，到架构设计、关键特性及使用方法，助力技术开发人员深入理解并应用这一技术。
2025-08-11 15:00:50
1395
4
原创 序列晋升2：CMD指令大全不止于linux
本文整理了程序员常用的开发工具快捷指令集合，涵盖IDEA、Git、Linux和Docker等主流工具的核心操作命令。主要内容包括：IDEA开发环境常用快捷键；Git版本控制的分支管理、提交撤销等操作命令；Linux系统管理、文件操作和网络配置等基础指令；Docker容器管理的镜像操作、网络配置、Dockerfile编写以及docker-compose编排等实用命令。这些指令经过精心筛选，可作为开发者的速查手册，在需要时快速查阅使用，提高工作效率。
2025-08-11 10:56:09
925
3
原创 【Big Data】dbt如何重塑技术-BA的数据协作范式
bt通过 "SQL民主化+工程实践+可观测性" 三位一体架构，解决了数据转换层的核心痛点。在自研BI系统中，它不仅是技术工具，更是组织协作模式的升级引擎——让分析师成为"数据产品经理"，技术团队聚焦平台建设，决策层获得实时可信数据。
2025-08-10 22:42:57
962
2
原创 序列晋升1：Java编程基础，纯干货，不墨迹。
楔子：借用《Thinking in Java》中的思想-“先工作后优化：优先保证功能正确性，再考虑性能优化”。与诸君共勉，先动手练习起来，再小步快走，最后再跑起来。Take baby steps ：像婴儿般走路，慢慢来，循序渐进。
2025-08-10 21:07:24
448
2
原创 【Big Data】Dremio数据湖仓引擎核心概念梳理
Dremio是一款创新的数据湖分析引擎，其核心架构基于自助数据结构和节点角色分工。关键技术包括：采用Apache Arrow内存格式实现高效数据交换，通过Gandiva运行时将SQL编译为原生机器码提升性能5-100倍。核心特性涵盖数据湖加速引擎、统一元数据服务和动态资源管理，支持无ETL数据访问和逻辑数据集。性能优化方面，列式存储可减少70%-90%磁盘读取量，反射机制能实现10-100倍查询加速。
2025-08-08 20:23:22
675
4
《Java develop base》
2025-08-10
VA 账户 ，(virtual-account-service) 虚拟账户体系
2025-08-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人