- 博客(236)
- 资源 (4)
- 收藏
- 关注
原创 【数据仓库·第0章】半小时超高速入门DW
数据仓库是企业数据管理的核心系统,它通过分层架构(ODS→DWD→DWS→ADS)对业务数据进行采集、清洗和建模,解决OLTP系统(如MySQL)在海量数据分析中的性能瓶颈。其核心采用星型模型,通过事实表(记录业务事件)和维度表(描述业务实体)的关联支持多维度分析。典型技术栈包括:Hive(离线存储)、Spark(批量计算)、Flink(实时处理)、Doris(高速查询)和Kafka(数据传输),形成兼顾存储成本、处理速度和查询效率的解决方案,最终服务于BI报表、运营分析和AI应用。
2026-07-09 10:46:36
443
原创 【大数据系列】数据怎么分片?——HDFS Block vs Doris Tablet
HDFS Block与Doris Tablet的核心区别在于数据切分逻辑:HDFS采用固定大小(默认128MB)的物理分块,如同"按斤切肉"般无视数据内容,仅存储原始字节段,查询时需全量扫描;而Doris Tablet则基于业务逻辑进行"按户分粮"式分区(如时间)和分桶(如用户ID哈希),每个Tablet都是带索引的独立数据单元,支持精准定位查询。这种差异使HDFS适合海量文件存储,Doris擅长高效分析,后者能通过分区过滤和分桶路由实现亚秒级数据检索。
2026-07-02 19:47:22
432
原创 【车联网学习笔记】第2期:DSRC vs C-V2X深度对比——为什么中国选了C-V2X?
DSRC= Dedicated Short Range Communications(专用短程通信)简单来说,就是给汽车装了一个"WiFi对讲机"。C-V2X= Cellular Vehicle-to-Everything(蜂窝车联网)C= Cellular(蜂窝),意味着它基于成熟的蜂窝通信技术(4G/5G)。类比:DSRC =对讲机(专用、封闭、功能单一)C-V2X =智能手机(通用、开放、功能丰富、可升级)问题答案DSRC是什么?基于WiFi的车载短程通信,美国早期主推。
2026-07-02 11:22:37
657
原创 【对比向】细算“成本”——Hive vs. Doris
本文对比分析了Hive和Doris在存储成本、计算成本和隐性成本三个维度的差异。Hive采用弹性计算模式,存储成本低廉但查询延迟高;Doris基于常驻进程,存储成本高但查询响应快。Hive的成本与数据规模和加工次数线性相关,适合批处理;Doris的成本与服务等级和留存体量挂钩,适合实时查询。建议采用混合架构:Hive处理全量数据,Doris仅承载需要快速访问的热数据,以优化总体成本效益。两种技术成本模型的本质差异在于资源占用方式——Hive按需付费,Doris持续占用。
2026-06-08 16:49:36
538
原创 【对比向】既生瑜何生亮?不!Hive 和 Doris不一样
【摘要】Hive与Doris在数仓架构中形成互补:Hive作为低成本批处理底座,负责PB级数据存储和ETL计算;Doris作为交互式查询引擎,加速高频访问的热数据查询。典型分层架构中,Hive承载原始数据清洗和规范化(ODS/DWD),结果数据通过批量加载进入Doris提供秒级响应(DWS/ADS)。二者的本质差异在于成本模型和适用场景——Hive适合离线重计算和冷数据存储,Doris擅长实时分析和热点查询。这种组合既保留Hive的灵活性和低成本优势,又通过Doris提升终端查询体验,是兼顾效率与经济性的务
2026-06-08 16:27:51
644
原创 【填坑向】你真的懂 LIMIT 10 吗?
《数据库查询顺序的认知误区与实践总结》 本文通过真实案例揭示了MySQL和Doris数据库在数据排序方面的核心差异。当查询缺少ORDER BY时,MySQL InnoDB默认按主键B+树顺序扫描,而Doris则依赖Segment文件物理存储顺序,这两种方式都不能保证业务逻辑上的有序性。文章特别指出,Doris的LSM-Tree架构会通过后台Compaction持续重组数据,即使不做增删改操作,查询结果顺序也可能变化。针对常见的"LIMIT比ORDER BY快"等认知误区,作者强调:必须显
2026-05-28 16:23:18
443
原创 【复盘系列】一次磁盘满的排查复盘
Linux服务器磁盘爆满排查发现是nohup.out日志文件无限增长所致。由于使用nohup启动Java应用时未重定向输出,导致所有日志被重复写入nohup.out文件。通过du命令定位到/root目录异常增大,发现4.5GB的nohup.out文件。应急处理先用truncate清空文件,但删除文件后发现磁盘仍未释放,使用lsof确认进程仍持有文件句柄。最终通过重定向nohup输出到/dev/null解决,并建议将日志管理交给专业日志框架。文章总结了排查磁盘问题的标准流程和关键命令,强调日志应由日志系统统一
2026-05-19 10:20:39
80
原创 【长知识系列】大数据项目的名字,原来都是这么来的!
大数据技术命名趣闻:Kafka灵感来自卡夫卡小说的迷宫感,Hadoop是开发者两岁儿子对玩具象的昵称,雅虎团队用动物命名(Pig、Hive)形成"大数据动物园"。Flink(德语"灵巧")、Doris(希腊海神)、Spark("火花")等名称都巧妙体现技术特性,YARN则展现程序员的自嘲幽默。这些名字背后藏着父子温情、文学情怀和团队趣事,让冰冷的技术有了温度。命名规律显示技术圈偏爱动物系、多语言混搭和名如其"人"的特点。(149
2026-04-30 17:31:28
324
原创 【Self-Attention第4弹】Q、K、V 为什么要分三套,不能一套全干吗?
注意力机制中Q/K/V分离的设计源于三者在语义和功能上的本质差异:Q(Query)表示当前搜索意图,K(Key)是被匹配对象的特征,V(Value)是实际获取的信息。
2026-04-17 09:58:17
503
原创 【Self-Attention第3弹】为什么一个 Attention Head 不够,还要 Multi-Head?
摘要: 多头注意力机制(Multi-Head Attention)通过多个并行注意力头(head)分工协作,从不同角度分析输入信息(如语法、语义、指代等),避免单一视角的局限性。每个头独立学习特定的关注模式(如主谓关系、上下文距离等),最终汇总结果,使模型能更全面捕捉语言中的复杂关系。其优势在于:1)并行处理多种关系;2)增强表达能力;3)减少偏差。但头数需平衡,过多会导致计算成本增加或冗余。类比团队协作或多维度看房,多头机制通过“分头观察、综合决策”提升模型的理解能力。
2026-04-15 09:45:34
442
原创 【Self-Attention第2弹】模型如何知道跟谁更“亲”?
这篇文章深入浅出地解释了Self-Attention机制的工作原理。作者通过生活化的比喻,将复杂的技术概念转化为易于理解的日常场景。
2026-04-13 15:30:18
487
原创 【超易懂】从 0 到 1,聊明白大模型 Skill 到底是个啥
大模型Skill的本质是"上岗说明书",将人类经验转化为可重复执行的规则。就像带教新员工一样,Skill需要明确任务边界、操作流程、输出标准和风险防范,而非追求"万能"。一个有效的Skill应包含:明确职责定位、适用场景判断、核心执行步骤、结果格式要求和错误处理机制。新手应从高频、明确的小场景入手(如会议纪要整理),通过真实样本测试迭代,逐步实现稳定输出。Skill的价值在于将"这次做对"升级为"每次都稳",让大模型从"
2026-04-09 09:30:24
593
原创 【超详细】一文搞懂 WebSocket 定时推送!
本文从实际开发场景出发,梳理了 WebSocket 定时推送的基本实现方式,并详细解释了后端如何识别前端连接、维护订阅关系,以及实现“给谁发什么”的精准推送机制。
2026-04-08 16:40:28
982
原创 【超易懂】Self-Attention 到底是做什么的?
Self-Attention机制让模型能够动态理解词语在上下文中的具体含义。它通过三个步骤实现:1)每个词观察句中其他词;2)判断哪些词对理解自己更重要;3)将重要词的信息整合到自身表示中。这种机制使词语不再是孤立标签,而是具有语境关系的语义单元,就像一桌人在交流时互相参考对方的发言。这种动态理解上下文的能力,是Transformer模型处理语言任务的核心优势,显著提升了翻译、问答等任务的表现。
2026-03-16 14:33:12
511
原创 【递归思维总结】什么时候递归结果可以直接 return?什么时候必须先赋值?——以 LCA 两道经典题为例
本文通过对比LeetCode 235(BST最近公共祖先)和236(普通二叉树最近公共祖先)两题,解析递归处理的两种模式:1)传话型递归(子结果即答案,可直接return);2)加工型递归(需先接住子结果再处理)。关键区别在于当前节点是否需要综合左右子树信息做判断。BST可利用数值特性直接确定搜索方向,而普通二叉树必须同时搜索左右子树才能判断。掌握这两种递归模式能显著提升二叉树问题的解决效率。
2026-01-30 13:54:27
632
原创 【超易懂】二叉树递归常见四大坑:minDepth / maxDepth / isBalanced / isSymmetric 一次讲清
本文对比分析了二叉树四类经典递归问题的解题误区:最大深度(maxDepth)直接取左右子树最大值;最小深度(minDepth)需排除空子树干扰;平衡树判断(isBalanced)要同时计算高度和平衡状态;对称树判断(isSymmetric)需比较左右镜像而非各自对称。关键在于理解递归中空节点的含义、合法路径的界定以及比较对象的正确选择,避免因逻辑方向错误导致WA。通过具体反例和正确代码对比,揭示了这些看似相似实则迥异的问题本质。
2026-01-23 11:35:57
379
1
原创 【超易懂】为什么 HTTPS 里「双方一定能算出同一个密钥」
HTTPS/TLS密钥交换原理:双方通过数学设计实现密钥同步。核心机制是利用"公共信息×各自私钥"的交换运算(如5×6×15=5×15×6),由于乘法交换律,双方计算顺序不同但结果相同。私钥(如6和15)始终保密不传输,攻击者虽能看到中间结果(如0和5),但无法反推出私钥。实际HTTPS采用更复杂的不可逆运算,但逻辑相同:私钥是算式的关键部分而非加密工具,确保只有通信双方能计算出相同密钥。整个过程依赖数学对称性而非巧合实现安全密钥协商。
2026-01-09 13:07:26
458
2
原创 【面试直接用】TCP为什么一定需要三次挥手/四次挥手?
摘要:TCP协议通过三次握手建立可靠连接,确保双方确认彼此的收发能力。三次握手避免了两握手中服务端无法确认客户端接收状态的问题。而断开连接采用四次挥手,因为TCP是全双工的,双方数据传输可能不同步结束,需要分别确认关闭状态。相比之下,UDP协议是无连接且不可靠的传输方式,效率更高但可靠性较低。这些机制体现了TCP协议对可靠通信的保障,以及不同协议在资源占用和可靠性之间的权衡。
2026-01-07 11:35:43
706
原创 【保姆级】让AI可以像你的程序员同事一样干活(如何接入并正确使用Cline[claude/gpt/gemini])
VSCode插件Cline安装使用指南:1️⃣安装步骤-搜索安装Cline插件-配置API密钥;2️⃣模型切换-通过设置切换不同模型(Claude3.5Sonnet适合工作,4.x适合思考);3️⃣优化技巧-使用预设提示词提升交互质量-创建.clinerules文件规范AI行为。让Cline成为你的智能编程助手,提供更专业的代码分析和建议。
2026-01-06 10:17:22
714
1
原创 【保姆级】手把手带你部署本地大模型
本文介绍了Ollama本地大模型的安装和使用指南:1)下载安装Ollama;2)下载模型(推荐qwen2.5:7b);3)通过Docker启动OpenWebUI界面(端口3000);4)验证本地服务是否正常运行。关键验证点包括检查11434端口监听、API接口测试和容器环境变量确认。最后提供了容器重启命令以便修复问题,实现完全本地的ChatGPT功能。
2026-01-01 08:38:45
393
原创 一文读懂:综合布线系统(PDS)六大子系统连接关系
本文解析了建筑物综合布线系统(PDS)的六大子系统及其连接关系。PDS采用模块化星型拓扑,包含工作区、水平、管理、垂直干线、设备间和建筑群子系统,各司其职又相互关联。核心优势在于简化管理、灵活扩展和技术兼容。文章通过图示阐明数据流路径,详细说明各子系统的位置、功能与组件,并强调规划设计需避免水平布线超长、标识不清等常见错误。掌握PDS结构是网络设计与故障排查的基础,其模块化设计为未来升级预留空间。
2025-10-05 11:36:02
2099
原创 【发布策略】一篇文章让你分清金丝雀发布vs灰度发布
核心逻辑将新版本 逐步暴露给随机用户或流量(如按比例分流),通过监控逐步扩大范围。将新版本 定向发布给特定用户群体(如按用户ID、地理位置、设备类型等筛选),验证功能效果。类比类似矿工用金丝雀探测危险——先让“少量用户”充当试验品。类似画家在灰色画布上试笔——通过定向用户群体测试功能,观察“颜色”是否符合预期。侧重点稳定性验证(确保新版本在生产环境中运行正常)。业务效果验证(验证功能是否符合用户需求,或A/B测试不同版本的效果)。
2025-05-01 14:18:12
1511
原创 【LeetCode·简单】一行代码解决459. 重复的子字符串——你真的会用 String 的 contains()方法吗?
先看下题目,感兴趣的同学可以先自己去做下题目地址:https://leetcode.cn/problems/repeated-substring-pattern/description/https://leetcode.cn/problems/repeated-substring-pattern/description/只要一行代码为什么把字符串本身拼接一下,掐头去尾,如果还包含一开始的字符串,就证明这个字符串可以通过他的一个它的子串拼成?我们看下下面这个图那么为什么呢(ο´・д・)??如果一个字符串
2025-04-08 11:50:59
759
原创 【Leetcode·中等】如何初始化(583.两个字符串的删除操作·Delete Operation for Two Strings)
这两种写法的主要差别其实就是在初始化的时候,可以看下他俩的 dp 数组在代码中的体现就是所以如何定义其实并没有对错的问题,只是在处理逻辑上会有一些些差异~~
2025-03-31 13:17:28
1382
3
原创 【保姆级】jar打包成可执行文件·亲测可行
先上效果~本文写自2025.1.19,目前为止,所有列出资源均有效,请放心食用(^^)/■保姆级操作(以Macbook为示例),跟做即可
2025-01-19 18:03:15
1119
6
原创 【伪随机数】关于排序算法自测如何生成随机数而引发的……
伪随机数就是由算法生成的随机数,真随机是真正随机的数emmmm...哈哈约等于没说哈其实一般来讲,计算机生成的的都叫伪随机数,因为他们都有以下几点共同之处
2025-01-13 15:07:57
1053
原创 【Leetcode·数组】3步带你转出 59. 螺旋矩阵 II(spiral matrix ii)
当你把“上右下左”即转 1 圈看正一个整体,只有这4个都完成了才是完成1次循环,这样,其实就不难了,你要做的就是判断要转几圈(几圈就是几次循环♻️),以及每一圈的“上右下左”分别该如何处理(循环内部逻辑)这道题其实并不难(别打我= =,第一次做的时候我也没转出来),其实我们一开始转不出来的原因就在于没有。每圈分别处理“上右下左”(因为按这个顺序值只需要每次+1 即可)处理最后一个数(如果 n 是奇数的话)恭喜你又做完了一道题🎉🎉🎉~~~时间复杂度: O(n^2)空间复杂度: O(1)
2025-01-09 18:09:55
580
原创 【填坑向】Command line is too long. Shorten the command line via JAR manifest or via a classpath file and
二话不说,,直接跟图操作即可100%有效~
2024-12-27 18:49:11
697
1
原创 【填坑向】Apollo配置日志不生效
在Spring Boot环境中使用Apollo配置中心时,需要进行一些基本的配置以确保Apollo能够正确地与Spring Boot应用集成,我们先对这些配置项进行介绍说明(包括必须配置项和可选配置项)
2024-12-27 18:37:32
1056
原创 【保姆级】Mac如何安装+切换Java环境
本文从如何下载不同版本的JDK,到如何丝滑的切换JDK,以及常见坑坑的处理方法,应有尽有,各位看官走过路过不要错过~~~
2024-12-12 19:54:05
729
原创 【保姆级·附完整代码】如何自定义复杂的排序统计(以统计周一~周日不同的营业时间为例)
地图上需要显示每家超市周一到周日不同的营业时间,要求按照周一、周二、周三、周四、周五、周六、周日的顺序,并且如果营业时间相同,则合并成一条,合并的天如果相邻,则只展示起始和结束的天数(如周一至周三营业时间都一样就显示为:Mon-Wed 08:00-19:00),如果不相邻,则用顿号连接(如周一和周三营业时间一样就显示为:Mon、Wed 08:00-19:00),正整理后如果超过一条数据则仍然按照周一、周二、周三、周四、周五、周六、周日的顺序排序。要实现上述功能主要用到了Java中的。
2024-11-05 11:55:53
205
原创 【保姆级】Spring Retry 教程
什么是“重试”?为什么要进行“重试”呢?“重试”(Retry)是一种在编程和软件开发中常见的策略,用于处理在执行操作时可能遇到的临时性错误或异常。当一个操作因为某些原因(如网络问题、服务不可用、资源暂时不可用等)失败时,重试机制会尝试再次执行该操作,以期在下一次尝试时能够成功。我们今天要用Spring Retry就是为了简化“重试”操作的一套框架首先,上Spring Retry的源码地址:感兴趣的同学可以去clone下来瞅瞅~
2024-10-16 09:11:37
655
原创 【保姆级】基于retrofit调用第三方接口
Retrofit 是一个类型安全的 HTTP 客户端,用于 Android 和 Java 应用程序,由 Square, Inc. 开发。它将 HTTP API 转换为 Java 接口。使用 Retrofit,你可以轻松地构建 RESTful API 客户端,通过注解和动态代理的方式,Retrofit 允许开发者以一种声明性的风格编写网络请求代码。类型安全:Retrofit 接口的方法返回类型是泛型的,这意味着编译器可以在编译时检查类型错误。同步和异步请求:Retrofit 支持同步(execute()
2024-10-16 09:05:31
561
Cesium ion 官网的示例文件AGI_HQ.zip
2020-04-02
Spring源码(5.2.21版本,包含zip和tar.gz两种格式,JDK8可用)
2022-04-20
Cesium.rar
2020-03-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅