- 博客(297)
- 收藏
- 关注
RSS订阅原创 深入理解HttpSecurity的设计
本文分析了Spring Security中HttpSecurity的工作原理。HttpSecurity通过SecurityBuilder接口创建DefaultSecurityFilterChain对象，并利用AbstractConfiguredSecurityBuilder管理构建过程的不同阶段。它通过add方法收集配置类，在doBuild方法中依次执行初始化(init)和配置(configure)，最终通过performBuild方法生成过滤器链。HttpSecurity通过getOrApply方法确保每
2026-06-07 21:09:39
11
原创 SpringSecurity初始化的本质
本文主要分析了SpringSecurity初始化过程中配置文件解析的关键流程。通过源码跟踪，详细阐述了以下几点： Spring容器启动时会通过ContextLoaderListener初始化，触发配置文件解析流程； 重点分析了HttpSecurityBeanDefinitionParser对<http>标签的解析过程，包括： 创建FilterChainProxy并注册到容器 构建过滤器链（内置过滤器+自定义过滤器） 处理请求匹配规则 解答了核心问题： FilterChainProxy在解析配置文
2026-06-07 11:33:37
196
原创 SpringSecurity请求流转的本质
本文分析了Spring Security的核心原理和请求处理流程。主要内容包括：1. 系统启动时Spring Security的初始化过程，特别是DelegatingFilterProxy的作用；2. 第一次请求的处理流程，重点介绍了FilterChainProxy如何匹配并执行对应的过滤器链；3. 关键过滤器如ExceptionTranslationFilter和FilterSecurityInterceptor的作用；4. 登录页面生成过程，展示了DefaultLoginPageGeneratingFi
2026-06-07 11:31:39
42
原创 SpringSecurity源码初探
本文深入解析了SpringSecurity的核心认证流程，主要包括以下内容： 核心组件分析： SecurityContextHolder：存储安全上下文信息 Authentication：封装认证信息（凭证、权限等） UserDetails/UserDetailsService：用户信息加载接口及实现 GrantedAuthority：权限授权接口 认证流程： 通过UsernamePasswordAuthenticationFilter处理认证请求 调用AuthenticationManager（默认Pro
2026-06-06 20:36:03
367
原创 与SpringSecurity的初次邂逅
本文介绍了Spring Security框架的基本概念和核心功能，重点讲解了如何快速整合Spring Security到Spring MVC项目中。主要内容包括： Spring Security简介：基于Servlet过滤器的安全框架，提供完善的认证和授权功能。 环境配置：创建Spring MVC项目，添加Spring Security相关依赖，配置web.xml和Spring Security核心配置文件。 认证功能实现： 自定义登录页面 处理CSRF防护问题 数据库认证集成 密码加密（BCrypt） 记
2026-06-06 20:31:22
254
原创 Spring6.0新特性
本文主要介绍了Spring 6.0引入的AOT（提前编译）技术及其实现框架GraalVM的核心应用。文章首先对比了JIT与AOT的编译原理差异，指出AOT通过运行前编译可提升启动速度但牺牲运行时优化能力。随后详细讲解了GraalVM的安装配置流程，包括环境变量设置、native-image插件安装及C++编译环境搭建。通过SpringBoot项目实战演示了AOT编译过程，重点分析了反射场景下的RuntimeHints处理机制，需通过RuntimeHintsRegistrar显式注册反射类信息。最后剖析了Sp
2026-06-04 22:35:20
597
2
原创 Flink编程模型与API
Flink异步I/O机制通过并发处理外部系统请求，解决了同步访问导致的网络延迟瓶颈问题。它支持两种实现方式：使用Vert.x等原生异步客户端，或通过线程池模拟异步请求。关键特性包括：1）非阻塞查询，允许同时发送多个请求；2）资源高效，相比提高并行度更节省资源；3）提供超时处理机制确保稳定性。代码示例展示了如何通过Vert.x（Java/Scala）和线程池方式实现MySQL异步查询，包含连接管理、异步调用和异常处理。该机制显著提升了Flink与外部系统交互的吞吐量和响应速度。
2026-06-04 22:23:05
349
原创 Flink的 Side Output侧输出和 ProcessFunction
Flink侧输出机制允许在不复制数据流的情况下分割处理不同类型的数据，通过OutputTag标识不同侧输出流，适用于流分割、异常和延迟数据处理场景。ProcessFunction是Flink中强大的低级别流处理API，提供processElement和onTimer方法实现自定义逻辑，支持状态管理和定时触发操作。文中通过Java和Scala代码示例演示了如何利用ProcessFunction监控通话失败告警：当被叫号码连续5秒呼叫失败时触发告警，涉及状态编程和定时器功能。该机制避免了数据流复制带来的性能损耗
2026-06-02 22:19:12
304
原创 Flink的DataStream分区操作
Flink提供了多种数据分区策略来优化流处理性能，包括哈希分区（keyBy）、随机分区（shuffle）、轮询分区（rebalance）、重缩放分区（rescale）、广播分区（broadcast）、全局分区（global）和并行分区（forward）。此外，用户还可以通过partitionCustom算子实现自定义分区逻辑。不同策略适用于不同场景，如rebalance解决数据倾斜，rescale减少网络开销，broadcast适合小数据集分发。选择合适的分区策略能显著提升任务执行效率，需根据数据特性和处理
2026-06-02 22:11:42
570
原创 Flink Sink
本文介绍了Flink Sink模块的功能和多种输出方式。Flink Sink负责将处理后的数据输出到外部系统，官方提供多种内置连接器（FileSink、JDBCSink、KafkaSink等），同时支持自定义Sink实现。重点内容包括： FileSink：支持exactly-once语义，通过两阶段提交保证数据一致性，可配置文件滚动策略（大小、时间、不活跃间隔）。 JDBCSink：提供关系型数据库写入功能，支持at-least-once和exactly-once语义（通过XA事务实现），演示了批量写入和事
2026-06-02 21:49:00
324
原创 Flink的函数接口与富函数类
本文介绍了Flink中的函数接口和富函数接口的使用方法。函数接口（如MapFunction、FlatMapFunction等）可以通过自定义类实现后传递给Flink算子处理数据。文中通过通话数据处理案例，展示了Java和Scala实现MapFunction的示例代码，将原始通话数据转换为包含格式化时间信息的输出。 此外，文章重点介绍了功能更强大的富函数接口（如RichMapFunction），它们具有生命周期方法（open/close）和运行时上下文访问能力。通过读取Socket数据并结合MySQL数据库查
2026-06-01 22:59:54
355
原创 Flink编程模型与API（四）
Flink的Transformation算子是数据流处理的核心构建块，主要包括map（元素转换）、flatMap（扁平化映射）、filter（过滤）、keyBy（按键分组）和聚合函数（sum/min/max等）。此外，union用于合并同类型数据流，connect可连接不同类型数据流形成ConnectedStreams，iterate则支持迭代计算直到满足停止条件。这些算子通过函数式编程方式对DataStream进行转换、分组和聚合操作，最终生成新的数据流。示例代码展示了聚合函数在不同场景下的应用效果。
2026-06-01 22:51:51
338
原创 Flink编程模型与API（二）
Flink的DataStream API提供了多种数据源(Source)支持，包括内置文件、Socket、集合等数据源，以及Kafka等第三方数据源。文件Source支持多种格式如Text、avro、csv等；SocketSource常用于测试；集合Source可直接读取内存数据。对于自定义数据源，可通过实现SourceFunction(单并行度)或ParallelSourceFunction(多并行度)接口，重写run()方法产生数据流和cancel()方法处理任务取消。两种方式都支持从特定数据源获取实时
2026-05-31 23:27:40
417
原创 Flink编程模型与API（一）
本文介绍了Apache Flink的编程模型与核心API。主要内容包括：1. Flink的API层级结构，从底层的Stateful Stream Processing到DataStream/DataSet API、Table API和SQL，上层API易用性高而底层灵活性更强；2. DataStream API的核心编程流程，包括环境创建、数据源接入、转换操作和数据输出；3. Flink的类型系统(TypeInformation)及其对Java基本类型、Tuple、POJO等的支持；4. Flink的序列化
2026-05-31 22:03:09
255
原创 Flink 内存模型
Flink通过自主内存管理解决了JVM在开源计算框架中的内存效率问题。1.10版本后，Flink重构了TaskManager内存模型，将内存划分为Flink总内存（包含堆内存、托管内存等）和JVM特定内存。Flink总内存包含框架/任务堆内外存及网络缓存，通过比例参数实现灵活配置。关键优化点包括：独立管理堆外内存减少GC影响，网络缓存动态调节，托管内存支持状态后端。建议优先调整内存比例参数（如网络缓存占比）而非固定值，以避免配置冲突。这种精细化内存控制提升了大数据处理的稳定性和性能。
2026-05-31 21:40:18
377
原创 Flink细粒度资源管理
摘要： Apache Flink在1.14版本前采用粗粒度资源管理，通过Slot共享组（SSG）统一分配资源，适用于并行度一致且资源需求相近的简单作业，利用削峰填谷效应提升资源利用率。但对于并行度差异大、资源需求悬殊（如GPU密集型任务）或批处理作业，粗粒度管理易导致资源浪费。Flink 1.14引入细粒度资源管理，支持动态切割Slot资源，按算子需求定制化分配（如CPU、内存、GPU），并通过动态资源分配策略减少碎片。该特性适用于异构资源场景，目前仅支持DataStream API和动态调度框架（如YAR
2026-05-30 01:27:57
154
原创 Flink任务提交与架构模型（五）
Flink任务调度的基本单元是Subtask，其通过TaskSlot机制在TaskManager上执行。每个TaskManager可划分多个TaskSlot（资源调度的最小单元），每个Slot运行一个或多个Subtask。TaskSlot数量建议与CPU核心数一致，仅隔离内存不隔离CPU。SlotSharingGroup（SSG）实现Slot共享，允许同一作业的不同Subtask共享Slot，提升资源利用率。并行度决定实际并发能力，需确保集群Slot总数≥任务最大并行度。Standalone集群可通过配置c
2026-05-28 21:14:27
871
原创 Flink任务提交与架构模型（四）
Flink是一个统一处理批流数据的计算框架，将批处理视为流处理的特例（有界流）。Flink应用由Source、Transformation和Sink组成，通过execute()触发Job执行。数据流图展示作业执行流程，算子可合并为算子链优化性能。并行度通过Subtask实现，可在四个层面设置。Flink任务执行时经历StreamGraph、JobGraph到ExecutionGraph的转换，最终以Subtask为基本调度单元分布式运行。算子链合并条件包括One-to-one数据传递模式和相同并行度。
2026-05-28 20:58:23
376
原创 Flink任务提交与架构模型（三）
Flink集群默认单JobManager存在单点故障风险，通过配置高可用(HA)可在主节点故障时自动切换备用节点。Standalone模式下需依赖ZooKeeper协调故障切换和HDFS存储任务数据，配置多节点JobManager实现主备切换。Yarn模式下则通过配置Yarn任务重试机制实现高可用，同样需要ZooKeeper和HDFS支持。两种模式均需在所有节点配置Hadoop环境变量，确保JobManager故障时任务能自动恢复运行。
2026-05-28 20:39:31
271
原创 Flink任务提交与架构模型（二）
FlinkOnYarn任务运行原理及提交模式分析 摘要：本文详细介绍了Flink在Yarn集群上的运行机制，包括三种任务提交模式：Session会话模式、Per-Job单作业模式和Application应用模式。FlinkOnYarn通过客户端上传配置到HDFS，由ApplicationMaster管理资源分配，动态启动TaskManager。文章重点分析了Session模式的提交流程，包括资源动态分配机制，并提供了多Job应用的代码示例。同时指出了Per-Job模式在Flink1.15后将被弃用的趋势，以
2026-05-26 22:02:05
452
1
原创 Flink任务提交与架构模型（一）
摘要：Flink任务提交支持三种模式：会话模式（Session Mode）、单作业模式（Per-Job Mode）和应用模式（Application Mode）。会话模式预先启动集群，所有作业共享资源；单作业模式为每个作业创建独立集群；应用模式为每个应用创建专属集群，优化客户端资源消耗。Standalone部署支持会话模式和应用模式，其中会话模式预先启动所有组件，应用模式则动态创建JobManager。生产环境推荐使用Application模式，因其资源隔离性好且减轻客户端负担。不同模式的主要区别在于集群生
2026-05-26 21:44:24
572
原创 Flink History Server
Flink HistoryServer配置与本地WebUI开发指南 摘要：本文介绍了Flink HistoryServer的配置方法，解决任务完成后统计信息无法查看的问题。在Standalone和Yarn模式下，通过配置jobmanager.archive.fs.dir和historyserver.archive.fs.dir参数，将任务日志持久化到HDFS等存储系统，HistoryServer可周期扫描恢复任务日志。详细说明了Standalone和Yarn环境下的配置步骤及验证方法。同时介绍了本地开发时启
2026-05-25 20:42:14
486
原创 Flink集群部署
Flink支持本地模式和集群模式部署，其中集群模式主要包括Standalone、Yarn和Kubernetes三种方式。Standalone集群部署需要配置JobManager和TaskManager节点，修改flink-conf.yaml文件并分发安装包。Yarn模式需要与Hadoop整合，配置HADOOP_CLASSPATH环境变量。任务可通过WebUI或命令行提交，示例展示了实时WordCount任务的打包和提交过程。Flink 1.11+版本统一使用Hadoop 2.8.5+编译包，支持与Hadoo
2026-05-25 20:24:49
653
原创 集群基础环境搭建（二）
本文介绍了Hive、HBase、Redis和Kafka的安装配置及基本操作。Hive 3.1.3版本在node1节点部署服务端，node3节点作为客户端，演示了建表、插入数据和查询操作。HBase和Kafka部分简要说明了安装节点划分和配置流程。Redis在node4节点安装，展示了数据库切换、哈希操作（hset/hgetall）和键删除等基本命令。所有操作均需先启动相关服务（如HDFS集群）。文章提供了分布式环境下多个大数据组件的快速部署和使用指南。
2026-05-24 15:27:14
325
原创 集群基础环境搭建（一）
本文介绍了在CentOS 7.6环境下搭建Flink集群及相关组件的基础配置流程。主要内容包括：1）准备5台4核2G的Linux节点，配置静态IP、主机名和节点间免密访问；2）关闭防火墙和SELinux；3）安装JDK8、MySQL和Zookeeper；4）详细配置HDFS高可用集群，包括namenode、journalnode等核心参数设置；5）配置YARN资源管理器的高可用方案；6）提供HDFS初始化、启动和停止的具体操作命令。所有配置均基于企业级生产环境需求，为后续Flink集群部署和框架整合奠定基础
2026-05-24 14:45:11
532
原创 Flink架构与集群部署（一）
Flink采用分层架构设计，分为物理部署层、Runtime核心层和API&Libraries层。物理部署层支持多种部署模式（Local/Yarn/Kubernetes）；Runtime核心层是分布式计算框架的核心实现；API&Libraries层提供流批计算接口及高级组件库。运行时架构基于Master-Slave模式，JobManager负责调度和资源管理，TaskManager提供Slot计算资源执行任务。JobManager包含ResourceManager（资源管理）、Dispatch
2026-05-22 21:41:04
319
原创 Apache Flink 快速入门
本文介绍了Flink开发环境的准备过程，包括版本选择（1.16.0）、JDK环境配置（建议JDK8）、开发工具（推荐IntelliJ IDEA）、Maven环境（3.2.5+）以及Scala和Hadoop环境的设置。详细说明了如何创建包含Java和Scala模块的IDEA项目，并给出了必要的Maven依赖配置。文章还对比了批处理（DataSet API）和流处理（DataStream API）的区别，总结了Flink程序编写的基本流程，包括环境获取、数据加载、转换处理和结果输出等步骤。最后指出DataSet
2026-05-22 21:35:57
629
原创 Apache Flink概述
Apache Flink是一个分布式流处理框架，能够高效处理无界和有界数据流。相比Spark的微批处理，Flink以流处理为基础，支持真正的实时计算，具有高吞吐、低延迟等优势。Flink起源于德国高校的Stratosphere项目，2014年成为Apache顶级项目后快速发展，阿里巴巴收购其核心团队后推动商业化应用。Flink通过有状态流计算架构实现了批流统一处理，支持精确一次语义和容错机制，成为大数据实时处理的重要解决方案。目前国内多家企业已采用Flink构建实时计算平台，其发展前景广阔。
2026-05-21 20:47:20
545
原创 MapReduce源码
5) 每个split都会对应到block块信息，进而得到当前块所在的节点信息，方便Map Task分发到对应节点上执行。2) MapTask数据溢写时，默认分区器是HashPartitioner，如果用户设置分区器则使用用户分区实现类。4) 在溢写磁盘过程中会进行数据排序，优先获取用户自定义排序比较器，如果用户没有设置默认使用Key本身自带的比较器。1) 当Redcue Task为1时，map端写出数据只有1个分区，不会经过分区、排序操作。3) map数据写出缓冲区默认100M，80%会溢写。
2026-05-21 09:02:10
317
原创 MapReduce 使用和原理（四）
摘要：本文介绍了MapReduce中实现Join操作的两种方法：Reduce端Join和Map端Join。Reduce端Join通过设置多个Mapper输入，在Reducer中完成数据关联；Map端Join则利用缓存文件在Mapper阶段完成关联，避免数据Shuffle开销。此外，文章还详细讲解了MapReduce中的数据压缩技术，比较了不同压缩格式的性能特点，并提供了在Hadoop中配置压缩的代码示例。最后给出了压缩格式选择建议，强调应根据数据类型和作业特点选择合适的压缩方式。
2026-05-20 20:50:49
925
原创 MapReduce使用和原理（三）
本文介绍了MapReduce框架中的Combiner预聚合机制及其实现方法。Combiner作为可选优化步骤，在Map输出后执行局部合并以减少网络传输数据量。文章详细说明了Combiner的实现步骤，包括自定义Reducer类和Driver配置，并以WordCount案例展示了具体应用。同时介绍了自定义Reduce端分组比较器的实现方法，通过Temperature案例演示了温度数据的处理逻辑。最后讲解了自定义OutputFormat的实现，以学生成绩分类输出为例，展示了如何通过继承FileOutputFor
2026-05-20 09:04:07
522
原创 Python 测试题（五）
本文摘要： 本文包含60道Python编程题目，涵盖模块导入、文件操作、路径处理等核心知识点。主要内容包括：1) 模块导入方式（import/from...import）、别名设置、查找路径管理；2) 文件读写操作（open/read/write/seek）、上下文管理（with）；3) 目录处理（os/os.path模块函数）；4) 常见错误分析与修正。题目涉及标准库模块、第三方模块安装、命名空间冲突处理等实际场景，通过选择题形式考察对Python模块系统和文件操作的理解深度与应用能力。
2026-05-20 09:03:13
460
原创 Python 测试题（四）
本文摘要：文章包含两部分内容，第一部分是关于Python异常处理的测试题，涉及AssertionError、try-except语句、BaseException基类、with上下文管理等知识点；第二部分是关于Python面向对象编程的测试题，涵盖@property装饰器、类属性、继承、封装等概念。所有题目均为选择题形式，考察Python编程中的异常处理机制和面向对象编程的核心概念，包括类定义、方法调用、继承实现等实际应用场景。
2026-05-19 09:21:25
428
原创 Python测试题（三）
本文摘要：本文通过一系列Python编程题目，涵盖了元组、列表、集合、字符串操作、函数定义与调用等核心知识点。题目涉及元组元素操作(如添加逗号、连接元组)、集合运算、字符串编码/大小写转换/查找/格式化、函数参数传递(位置参数、默认参数、可变参数)、lambda表达式使用等。重点考察了Python基础数据结构的特性和常用字符串方法，同时测试了函数定义、参数传递、返回值处理等函数编程能力。题目设计注重实际应用场景，如模拟拼多多砍价、成语接龙游戏等，帮助学习者掌握Python编程基础知识和解决实际问题的能力。
2026-05-19 09:20:17
416
原创 Python测试题（二）
本文摘要：该文档包含一系列Python编程选择题，主要考察循环结构（while/for）、条件判断、列表/字典操作等知识点。题目涵盖循环类型判断（如条件循环与死循环）、循环控制语句（break/continue）、列表的增删改查、字典的创建与操作等核心内容，并通过实际应用场景（如成绩判断、通讯录管理）检验对语法规则和逻辑结构的掌握程度。所有题目均采用单选形式，部分题目需找出代码错误或补充缺失代码，重点测试对Python基础语法的理解和调试能力。
2026-05-18 09:01:15
514
原创 Python测试题 （一）
有商家在双十一期间推出优惠活动：消费只要满500元就可享用50元优惠券，满 1000元，享9折优惠，满2000元，享8折优惠，消费满3000元，享7折优惠。狗狗是人类的朋友，1岁狗狗的年龄相当于人类14岁，2岁相当于22负，以后每大1岁相当于人类加5岁，现在小狗狗明明7岁了，按下面的程序输入7，会输出什么呢？D.第6，8，10行中的str(a*10000),str(b*10000),str(c*10000)分别改为。10 print("本月奖金为:"+str(c*10000)+"元")
2026-05-18 09:00:30
469
原创 大模型必知的50个概念
本文系统介绍了大模型的核心概念与技术要点。主要内容包括：1）大模型定义，即具有数十亿参数的深度学习语言模型；2）Transformer架构的核心组件（自注意力机制、多头注意力等）；3）训练流程（预训练、微调）及优化方法（Adam算法、学习率衰减）；4）性能评估指标（BLEU、ROUGE等）；5）关键技术（词嵌入、批标准化、多任务学习）；6）训练优化方案（分布式训练、混合精度、梯度裁剪）；7）推理优化手段（剪枝、量化、知识蒸馏）。同时阐述了GPT、BERT等典型模型架构特点，以及强化学习在模型优化中的应用。全
2026-05-17 20:48:22
532
原创 MapReduce使用与原理 （二）
摘要：本文介绍了Hadoop MapReduce中自定义分区器的实现方法，通过继承Partitioner类并重写getPartition方法，可以控制数据分区的策略。案例展示了如何将特定键值（如hello、lisi）分配到同一分区，其他键值分配到不同分区。同时详细说明了MapReduce的三次排序过程：Map端溢写排序、文件合并排序和Reduce端归并排序。最后通过订单处理案例演示了自定义排序的实现，包括Order类的WritableComparable接口实现和Driver程序的配置，实现了按总价倒序排序
2026-05-17 11:47:42
495
原创 MapReduce使用与原理（一）
MapReduce程序由Mapper、Reducer和Driver三部分组成。Mapper负责读取数据并转换为键值对，Reducer处理Mapper输出的键值对数据。Driver类配置作业参数，包括设置Mapper/Reducer类、输入输出路径等。MapReduce使用Writable接口实现高效序列化，支持自定义数据类型。Shuffle过程是核心环节，包括分区、排序、合并等步骤，可选用Combiner进行预聚合优化。整个流程通过环形缓冲区、溢写机制和归并排序实现高效数据处理，最终由Reduce任务完成计
2026-05-17 11:34:13
510
原创 MapReduce 介绍
MapReduce是Hadoop生态中的分布式计算框架，主要用于大规模数据批处理。其核心思想是将计算分为Map和Reduce两个阶段：Map阶段并行处理数据并生成键值对，Reduce阶段聚合相同键的数据。MapReduce具有编程灵活、可扩展性强和容错性好的优点，但也存在实时性差、编程复杂和迭代计算效率低等缺点。随着Spark、Flink等新一代计算框架的出现，MapReduce应用逐渐减少，但其处理思想仍影响深远。数据流程涉及分片、环形缓冲区、排序合并等机制，确保高效处理。MapTask并行度由split
2026-05-16 13:57:35
519
02324离散数学离散数学命题逻辑与谓词逻辑核心概念解析：自考重难点知识体系构建
2025-09-14
【计算机系统原理】基于冯·诺依曼结构的指令系统与存储层次化设计：从数据表示到I/O控制的完整体系解析
2025-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人