自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(496)
  • 资源 (33)
  • 问答 (7)
  • 收藏
  • 关注

原创 MapReduce 作业慢?别乱调参数,先找到瓶颈在哪

MapReduce作业慢?切忌盲目调参。应先通过YARN UI定位瓶颈:若Map慢,检查分片与小文件;Shuffle慢,启用压缩与Combiner;Reduce慢,排查数据倾斜。优先优化压缩、Combiner及倾斜问题,可解决80%性能瓶颈。合理设置分片大小(128-256MB)、调大io.sort.mb并同步增加内存,避免OOM。按阶段逐项优化,每次仅改一个参数,验证后再推进,高效精准提升作业性能。

2026-11-13 13:13:05 223

原创 Python 虚拟环境:别再把所有项目塞进一个”大仓库”了

这就是典型的"依赖冲突"——所有项目共用一套全局 Python 环境,不同项目对同一个库的不同版本要求互相打架。——项目 A 的书房里有 Django 2.0,项目 B 的书房里有 Django 4.0,互不影响。项目 A 用的是 Django 2.0,项目 B 用的是 Django 4.0。是常见惯例——以点开头在 Linux/Mac 上是隐藏目录,不容易误删。虚拟环境能让依赖不冲突,但如果你换了一台电脑,怎么把同样的环境复现出来?改回去呢,项目 B 又跑不起来。的包都装到这个虚拟环境里,不会污染全局。

2026-11-11 16:44:05 93

原创 MapReduce 数据清洗:脏数据进来,干净数据出去,连 Reduce 都省了

MapReduce 数据清洗只需 Mapper,无需 Reduce。因每条数据独立处理,可设 setNumReduceTasks(0) 省去 Shuffle 阶段,大幅提升性能。通过过滤无效数据、标准化格式(如日期、大小写)、去重等操作,实现“脏数据进,干净数据出”。结合 MultipleOutputs 可分离脏/洁数据便于分析,配合压缩、内存优化与 CombineTextInputFormat 进一步提升效率,是高效清洗海量日志的利器。

2026-11-06 10:33:09 232

原创 Python3 协程:异步编程的核心机制与实战

协程是解决I/O密集型任务等待瓶颈的高效机制,相比线程更轻量、无锁开销。从yield到async/await的演进,使异步编程语义清晰、易于理解。通过async/await可实现并发执行多个任务(如gather、create_task),显著提升网络请求、爬虫等场景性能。关键在于使用异步库(如aiohttp)替代同步库,避免阻塞事件循环。合理控制超时与并发数,才能发挥协程最大优势。

2026-11-04 10:16:43 159

原创 ReduceTask工作机制

ReduceTask 生命周期分为四阶段:Copy(拉取数据)→ Merge(合并排序)→ Sort(分组)→ Reduce(执行逻辑)。它从各Map节点并行拉取对应分区数据,通过内存与磁盘的多轮合并排序,最终按Key分组调用reduce函数。性能瓶颈主要在Copy与Merge阶段,调优关键包括增大并行拉取线程、优化缓冲区与合并因子、避免数据倾斜。合理设置Reduce数量(约集群核心数×0.9)可平衡负载与小文件问题。

2026-10-30 14:37:20 319

原创 Python3 线程:多任务并发编程详解

Python线程适用于I/O密集型任务(如网络请求、文件读写),因GIL在等待时释放;但不适用于CPU密集型计算。推荐使用concurrent.futures.ThreadPoolExecutor管理线程池,配合Queue实现线程安全通信,用Lock保护共享数据。避免手动创建大量线程,优先选择线程池或异步(asyncio)方案。

2026-10-28 14:20:00 216

原创 MapTask 工作机制:从读数据到写磁盘,一个 Map 任务的完整一生

Combiner 是 Map 端的"迷你 Reduce"——在合并的时候,把相同 Key 的 Value 先聚合一下。Reduce 端拿到数据后要按 Key 分组,如果数据已经是排好序的,分组就快很多。Map 任务结束的时候,磁盘上可能有好几个溢写文件。多个溢写文件按分区和 Key 做多路归并,合成一个大文件。某个 Key 的数据特别多,它所在的分区数据量巨大,溢写和合并都慢。没有缓冲区,每条记录写一次磁盘,Map 任务会慢 10 倍以上。的——Map 一直在写,溢写线程在另一个方向读,互不干扰。

2026-10-23 16:36:43 109

原创 Python 文件操作:读写文件这件事,记住 with open 就够了

本文详解Python文件操作核心:始终使用with open()确保资源自动释放。涵盖读写文件(小文件全读、大文件逐行、追加写)、编码规范(强制指定utf-8)、二进制文件处理、路径操作(pathlib推荐)、CSV/JSON模块使用及常见异常处理。强调最佳实践:用with、指定编码、分块读写大文件、合理使用try-except,提升代码健壮性与可移植性。

2026-10-21 10:20:48 82

原创 MapReduce 数据压缩:用 CPU 换 IO,这笔账怎么算?

MapReduce中,压缩通过“用CPU换IO”提升性能:当作业瓶颈在磁盘或网络时,压缩可显著减少数据量,加速传输与存储;若CPU已满,则压缩反而拖慢作业。推荐:中间数据用Snappy(速度快),结果数据用Gzip(压缩率高),大文件需切分则选Bzip2或带索引的LZO。配置关键在开启输出压缩并合理选择格式,同时注意可切分性与额外依赖安装。

2026-09-24 15:16:04 259

原创 Python 常用模块:别从头造轮子,这些内置的和第三方的直接拿来用

Python生态丰富,善用内置模块可大幅提升效率。推荐使用pathlib处理路径,datetime管理时间,json解析数据,re进行正则匹配,collections中的defaultdict、Counter和deque解决常见数据结构问题,itertools则高效处理迭代场景。掌握这些模块,告别重复造轮子,代码更简洁、健壮。

2026-09-23 14:48:38 199

原创 为什么说线性模型是深度学习的基石?从 Scikit-Learn 谈起

线性模型是深度学习的基石,因其核心结构——特征加权求和——贯穿于神经网络全链路。从Scikit-Learn的线性回归、逻辑回归到Softmax多分类,均体现“线性变换+非线性映射”的范式。深度学习中,全连接层本质仍是线性计算,反向传播也聚焦于其权重更新。掌握线性模型的正则化、特征缩放与类别不平衡处理,是理解深层网络的关键。

2026-09-22 10:00:10 109

原创 MapReduce Shuffle 深度解析:数据从 Map 到 Reduce 的完整旅程

MapReduce的Shuffle是连接Map与Reduce的关键环节,负责分区、排序、溢写、拉取、合并与分组,占作业耗时30%-50%。Map端将输出先缓存、分区、排序,缓冲区满后溢写至磁盘并合并;Reduce端并行拉取数据,内存合并后溢写磁盘,最终多路归并并按Key分组。调优核心包括增大缓冲区(如sort.mb)、提升并行拉取数(parallelcopies)、优化合并因子(sort.factor)及启用压缩,以减少磁盘I/O和网络传输,显著提升性能。

2026-09-21 17:51:31 253

原创 Python 单例模式:一个类只能有一个实例,到底怎么实现?

Python 的模块在第一次被导入时执行,之后再导入直接用已经加载好的。最彻底,支持继承(子类也会自动单例),行为最接近"类本身保证单例"。元类是"创建类的类",控制类的实例化过程。框架级别的基础类,或者你需要确保所有子类也都是单例的时候。如果你确实需要"调用类的构造函数来控制单例",用。如果你的应用不是多线程的,不需要加锁,徒增开销。你想给现有的类加单例行为,但不想改它的代码。如果你不想修改类的内部实现,可以加个装饰器。不侵入类的内部代码,可以给多个类复用。,都认为该创建,结果造出两个实例。

2026-09-20 15:11:15 152

原创 MapReduce Join 操作:大表关联小表用 Map 端,大表关联大表用 Reduce 端

MapReduce中,大表关联小表应优先使用Map端Join,将小表加载至内存避免Shuffle;大表关联大表则采用Reduce端Join,虽性能较低但适用性广。核心在于:小表可装入内存即用Map端,否则选Reduce端。前者无网络开销、速度快,后者支持任意规模,实现简单且灵活。实际项目中,小表小于100MB时首选Map端Join,兼顾效率与稳定性。

2026-09-18 13:01:46 214

原创 Python 的 @classmethod 和 @staticmethod:什么时候用哪个,一次说清楚

类方法能访问和修改类属性(所有对象共享的数据),但不能访问实例属性(每个对象各自的数据)。静态方法不能访问实例属性,也不能访问类属性(除非把类名传进去,但那样很别扭)。刚接触的时候很容易搞混——“不都是类里的方法吗,为什么还要分三种?实例方法处理的是"每个对象各自不同的数据",比如每个人的名字不同。类里,代码组织更清晰——别人一看就知道"这些是验证相关的工具"。),子类调用的时候就会返回父类的实例,而不是子类的。这种"替代构造函数"的模式,是类方法最典型的用途。,指向类本身,而不是某个具体对象。

2026-09-17 10:10:42 221

原创 MapReduce OutputFormat 解析:结果怎么从键值对变成文件

如果默认的不够用——比如你想输出 CSV、JSON,或者直接写数据库——就自己写。

2026-09-15 11:19:18 172

原创 Python 高阶函数:把函数当“变量“用,代码能少写一半

在 Python 里,函数跟数字、字符串一样,也是对象。适合做"聚合类"操作——求和、求积、拼接字符串、找最大值。说白了,高阶函数就是"能操作函数的函数"。就像你把一个数据传给函数处理一样,高阶函数让你把。因为它把"做什么"和"怎么做"分开了——你告诉我规则,我按规则处理数据。Python 高阶函数:把函数当"变量"用,代码能少写一半。就是高阶函数——它接收了一个函数参数,在内部调用了它。参数接收一个函数,根据函数的返回值来决定排序顺序。这个模式叫"闭包"——内层函数记住了外层函数的参数。

2026-09-14 19:20:20 46

原创 MapReduce InputFormat 深度解析:数据怎么从文件变成键值对

小文件太多,每个文件一个 Map 任务,任务数量爆炸、调度开销大。,分片=64MB → 一个 128MB Block 会被切成 2 个 Split,产生 2 个 Map 任务。,分片=256MB → 两个 128MB Block 合并成 1 个 Split,产生 1 个 Map 任务。MapReduce 处理数据的第一步,是把原始文件读进来、切成块、转成键值对,交给 Map 函数去处理。如果数据是二进制文件、图片、或者自定义协议格式,没有现成的 InputFormat,就自己写。

2026-09-11 17:10:07 338

原创 Python 模式匹配:从 in 到正则再到 match-case,一招对一招

处理文本和数据,绕不开匹配这件事——判断一段文字里有没有某个词、提取一个手机号、解析一段 JSON 结构。最擅长的是"根据数据结构的不同形状走不同分支",而不是"判断文本内容"。遇到手机号、邮箱、URL、日志解析这种复杂模式,别用字符串方法硬凑,直接用正则。能用内置方法解决的问题,就别上正则。比正则简单,比字符串方法灵活,适合文件名匹配这类场景。如果你的数据已经是列表、字典、对象了,再用正则去解析就是绕远路。这种简单的通配符,又不想写正则,这是最直观的写法,没有之一。,复杂的就别用它了。

2026-09-09 17:03:54 95

原创 MapReduce深度解析:分而治之,把大数据拆成小任务

这个思路来自函数式编程的 Map 和 Reduce——Map 负责"拆"和"算",Reduce 负责"合"。Combiner 是 Map 端的"小 Reduce",在数据发往 Reduce 之前先做一次局部聚合,减少 Shuffle 数据量。每个 Reduce 任务拿到一组相同 key 的所有 value,聚合计算,输出最终结果。把 Map 输出的键值对按 key 分组、排序,然后传给 Reduce。:Map 端输出按 key 排序,Reduce 端拉取后再次合并排序。处理 TB 级的数据,单机跑不动。

2026-09-07 22:12:22 432

原创 Python 字符串:处理文本的这几十种方法,其实常用的就那些

写 Python 代码,字符串操作避不开。解析日志、处理用户输入、拼 SQL、格式化输出——天天都在跟文本打交道。字符串一旦创建就不能改,所有"修改"操作都是创建新字符串。记住这点,写代码的时候就不会困惑了。Python 字符串:处理文本的这几十种方法,其实常用的就那些。Python 的字符串方法多,但常用的就那么十几个。字符串方法只能做简单匹配,遇到复杂需求就得用正则了。几乎是必用的——去掉用户不小心敲的空格。切片是字符串最常用的操作之一,记住。字符串是什么,记住两点就够了。判断:检查字符串是什么类型。

2026-09-05 17:33:13 206

原创 Hadoop 历史服务器:作业跑完就消失?用它找回来

Spark 有 Spark History Server,Flink 有 Flink History Server,各管各的。作业一旦完成,它就消失了——你看不到它跑了多久、占了多少资源、失败了为什么失败。),找个已完成的作业,点 "History" 链接,能跳转到历史服务器页面说明配置成功。这条配置让 YARN Web UI 里的 "History" 链接能跳转到历史服务器。历史服务器只记录它启动之后才完成的作业。如果是启动之前就跑完的作业,它没有记录。所以历史服务器必须提前启动,作业提交时它就得在。

2026-08-31 15:33:01 388

原创 Python 循环:重复的事交给代码去做

循环的核心是"遍历"——你给我一个列表、字符串、字典、或者任何"可迭代"的东西,我一个一个取出来处理。写程序,大量的事情都是重复的——遍历列表里的每个元素、处理文件的每一行、一直等到某个条件满足。循环的核心是"等条件变 false"——你不知道要循环多少次,只知道"什么时候该停"。列表推导式底层是 C 语言实现,比手动循环快 30%-50%,而且代码更短。这个写法第一次看到可能会觉得奇怪,但在"查找某个元素"的场景下很好用——外层循环执行一次,内层循环执行完整一轮。嵌套循环:循环里面套循环。

2026-08-30 18:13:51 206

原创 YARN 日志聚集:别一台一台登录服务器查日志了

不然日志上传会失败,但 YARN 不会报明显错误,只在 NodeManager 日志里有记录。时间太长 HDFS 空间扛不住,时间太短(比如 1 天)可能还没排查完日志就被清了。在 YARN 上跑作业,每个任务分散在不同节点。每个节点单独一个目录,一个应用的所有节点日志都汇聚在一起。可能原因:日志上传还没完成(大任务的日志打包需要时间),或者上传失败了。如果任务还在跑,日志还没上传,这时候去 HDFS 里查不到。不开的话,节点宕机日志就没了,排查问题全靠运气。如果任务在不同节点重试过,每个节点都要登一遍。

2026-08-23 16:04:04 202

原创 Python if 判断:从“要不要做“到“做哪个“

语法很简单,但真正写代码的时候,怎么把逻辑组织清楚、怎么避免常见问题,还是有些门道。,在 Python 里会直接报语法错误,不像某些语言那样悄悄把条件变成赋值。Python 中,非布尔值作为条件时,会自动转换为布尔值(后面的条件成立了,就执行缩进的代码块;Python if 判断:从"要不要做"到"做哪个"有时候需要"先满足一个条件,再看另一个条件"。再复杂一点:嵌套判断,大条件里套小条件。二选一:if-else,两条路走一条。一件事,成立走 A,不成立走 B。最简单的:if,一件事要不要做。

2026-08-22 18:13:39 211

原创 Hadoop 三种运行模式:从单机调试到生产集群,一路搭过来

单机模式验证了代码逻辑,但你还不确定它在 HDFS + YARN 上能不能跑。伪分布式模式就是在一台机器上启动所有守护进程——NameNode、DataNode、ResourceManager、NodeManager 全都有,但都跑在同一台机器上。所有进程跑在单个 JVM 里,不启动 HDFS、不启动 YARN,读写本地文件系统。伪分布式的所有进程挤在一台机器上,资源争抢、单点风险——生产环境不能这样。Hadoop 依赖 Java,不管哪种模式,这一步都逃不掉。零配置,秒级启动,用来验证逻辑正确性最好。

2026-08-21 09:27:25 202

原创 Python 解析 JSON 日志:从一行数据到一份报告

模块就是干这个的:把 JSON 字符串转成字典,或者把字典转成 JSON 字符串。用法就几个函数,但真正写脚本分析日志的时候,有些细节还是得注意。现在大部分应用的日志都是 JSON 格式——每条日志是一个 JSON 对象,方便机器解析和分析。但日志分析通常用逐行处理(每行一个 JSON),因为文件可能很大,一次性加载会撑爆内存。**:日志里可能有格式错误的一行,不能因为一条坏数据让整个脚本崩溃。如果日志行有固定前缀,用正则把 JSON 部分提取出来再解析。让输出的 JSON 有缩进,方便人看。

2026-08-16 17:06:27 178

原创 Hadoop 单机环境搭建:配置文件、启动命令、验证方法,照着做就能跑

在单机必须设 1,不然 DataNode 只有一个节点,存不了 3 份,NameNode 会一直卡在安全模式。不配,MapReduce 的 Shuffle 跑不起来,Reduce 拿不到 Map 的输出数据。格式化会清空 NameNode 元数据目录,已有的数据会丢失。Hadoop 的配置,关键不在改参数,在于搞清楚"每个文件是管什么的、改了什么会影响什么"。,MapReduce 会跑在本地模式,不会用 YARN 调度。告诉 Hadoop "HDFS 在哪"、"临时文件放哪"。NameNode 没起来。

2026-08-12 15:40:38 208

原创 Python 异常处理:别让程序因为一个小错误就崩了

因为放在 try 里的所有代码都在同一个"防护罩"里,如果把后续处理也放进去,后续代码出错了会被误解为除法的错误。不是 bug 修不完,而是程序跑着跑着突然崩了,日志里一堆红字,用户看到的是"服务器错误"。自定义异常的好处是:调用你代码的人能精准地捕获和处理业务层面的错误,而不是去判断一堆。,程序直接崩溃退出,用户一脸懵。有了它,程序可以继续跑,顶多那条数据处理失败了。隐藏了代码里的 bug,本来应该修的问题变成了"程序还在跑但逻辑不对"能捕获几乎所有常见的异常,看起来省事,但。

2026-08-09 12:48:31 187

原创 HDFS 深度解析:大数据存储的“硬盘不够、单盘坏了怎么办“

每个文件/目录的元数据大约占 150 字节,如果内存是 128GB,理论上限大约是 8 亿个文件——但实际远到不了这个数。一句话总结:NameNode 管"什么东西存在哪",DataNode 管"东西本身",Secondary NameNode 帮 NameNode 整理账本。启动的时候,NameNode 把 FsImage 读到内存,然后把 EditLog 里的操作重新执行一遍,生成最新的元数据。心跳停了,NameNode 就把这个节点标记为"死了",然后把上面的 Block 在其他节点上补副本。

2026-07-12 22:40:39 247

原创 ## Python 类和对象:别背语法,先理解“模板“和“实例“的关系

打个比方:类是一张"员工入职登记表"的模板,对象就是你拿着这个模板给每个新员工填出来的那张具体表格。**私有属性的意义是"约定"而不是"强制"**——告诉使用这个类的人:别碰这个属性。是 Python 的构造方法,对象被创建的时候自动调用。:所有对象共享一份,属于类本身。的作用是"调用父类的同名方法",避免硬编码父类名,代码更好维护。Python 类和对象:别背语法,先理解"模板"和"实例"的关系。实例方法能访问实例变量和类变量,是日常写代码最常用的一种。是对象的属性,每个对象有自己的独立副本。

2026-07-06 16:41:01 200

原创 数据仓库是啥?一篇讲清楚概念和架构

数据仓库管的是"过去发生了什么",数据进去基本就不动了,专门给老板、运营、分析师看报表用的。我见过一个做用户行为分析的项目,存的是每一条点击日志,数据量爆炸,但确实能回答很细的问题。:不是按"订单系统""用户系统"来分,而是按"用户分析""销售分析"这种分析目标来组织数据。同一个用户的数据,可能来自注册系统、订单系统、客服系统,在"用户主题"下全部汇聚到一起。这篇我就按自己的理解,把数据仓库的概念、核心特征、整体架构过一遍,尽量不说黑话。"时间"是一个维度,"地区"也是一个维度,"产品品类"还是维度。

2026-06-30 15:46:19 266

原创 Python变量作用域全解析:从局部到全局,彻底掌握LEGB规则

与 Java 等语言不同,Python 的变量作用域规则更灵活,尤其在全局变量和局部变量的区分上有特殊机制。若在函数内直接修改全局变量,Python 会将其视为局部变量(创建新的局部变量),而非修改全局变量。当函数嵌套时,内层函数可访问外层函数的变量(非全局),这种作用域称为嵌套作用域。在函数内部定义的变量默认为局部变量,仅在函数执行期间存在,函数外部无法访问。在模块顶层定义的变量为全局变量,可在模块内的任何函数外访问。当内层函数返回并被外部使用时,外层函数的变量会被“记住”,这就是闭包。

2026-06-29 18:53:16 215

原创 理解Python函数的核心概念,提高编程效率

函数是 Python 中组织代码的基本单元,用于封装可重用的逻辑。与 Java 的 “方法” 类似,但 Python 函数更灵活,支持默认参数、关键字参数、可变参数等特性。Python 的参数系统极其灵活,支持 5 种参数类型,可按任意组合使用。文件,用于代码复用(类似 Java 的包)。最基本的参数类型,调用时必须按定义顺序传递。接收任意数量的关键字参数,打包为字典。:在函数外部定义,可在整个模块内访问。接收任意数量的位置参数,打包为元组。:在函数内部定义,仅在函数内有效。

2026-06-15 18:51:23 190

原创 Java AIO 详解:异步非阻塞 IO 的实现与实践

实现,将 IO 操作的全过程(数据准备 + 内核到用户缓冲区的复制)交由操作系统完成,最终通过回调函数通知应用程序结果。相比 NIO 的 “同步非阻塞”,AIO 进一步解放了应用程序的 CPU 资源,适用于高并发、IO 密集型场景。Java AIO(Asynchronous IO,异步 IO)是 JDK 1.7 引入的 IO 模型,基于 “异步非阻塞” 思想,通过。:实际生产中,基于 NIO 的框架(如 Netty)因稳定性和兼容性更优,应用更广泛。,JDK 实现存在性能问题),Windows 支持较好。

2026-06-10 21:55:55 251

原创 Python开发者必备:字典操作全面指南及性能优化

它通过键(key)快速查找对应的值(value),是处理关联数据的核心数据结构。本文将详细介绍字典的创建、操作及常用方法。在 Python 中,字典(Dictionary)是一种。(如字符串、整数、元组),列表等可变类型不能作为键。键是唯一的,若重复定义,后面的键值对会覆盖前面的。实战3:字典作为缓存(Memoization)定义,键值对之间用逗号分隔,键与值用冒号。结构的可变容器,类似于 Java 中的。访问对应的值,若键不存在则报错。:删除并返回指定键的值。:清空字典所有键值对。del 字典名[键]

2026-06-07 21:57:25 218

原创 编译时注解处理:APT 与 Annotation Processor 实战

运行,通过注解处理器(Annotation Processor)扫描源代码中的注解,执行自定义逻辑(如代码生成、校验),并输出新的源文件或资源文件。实现的技术,允许在代码编译阶段扫描和处理注解,生成额外的源文件、配置文件等,而无需在运行时通过反射处理,从而提升性能并减少手动编码。处理器可能被调用多次(每轮处理生成的文件会触发新的编译轮次),需通过。**:提供当前编译轮次中被注解标记的元素(类、方法等)。:编译期多次调用(多轮处理),扫描并处理注解,生成文件。:处理器完成工作后调用,释放资源(可选实现)。

2026-06-06 11:32:25 277

原创 Python 列表(List)与元组(Tuple)详解

在 Python 中,列表(List)和元组(Tuple)是两种常用的序列类型,用于存储多个元素。:列表是可变的(元素可修改),而元组是不可变的(元素一旦创建就无法修改)。严格来说,一个函数只能返回一个值,但是如果这个值是一个元组,效果就会和返回多个值一样了。:当数据一旦创建就不需要修改时(如存储配置项、函数返回多个值、作为字典的键)。:当需要添加、删除或修改元素时(如动态收集用户输入、存储可变更的数据集)。:将可迭代对象(如列表、元组)的元素添加到末尾。定义,元素不可修改,适合存储不需要变更的数据。

2026-06-05 22:36:07 379

原创 CentOS 7 老树开新花:从零部署 Dify 全栈应用(含 Go/Rust/GCC 升级避坑)

CentOS 7 老树开新花:从零部署 Dify 全栈应用(含 Go/Rust/GCC 升级避坑):开放 5019(API)、3000(Web)、以及中间件所需端口(如 6379、5432 等)。需要 GCC ≥ 9.3,而 CentOS 7 默认 GCC 仅为 4.8.5。:重复上述“清理 → 解压 → 构建 → 启动”流程,或封装为脚本自动化。✅ 至此,Dify 已在 CentOS 7 上完整部署。如遇问题,请优先检查依赖版本、网络连通性及配置文件路径。文件中的数据库地址、存储路径、日志目录等配置。

2026-02-07 12:56:00 599

原创 Hadoop安全模式详解

Hadoop HDFS的安全模式是NameNode启动时的一种特殊状态,主要用于保障元数据一致性和数据块可用性。该模式下系统只读不可写,NameNode会加载元数据并校验数据块副本状态,当满足最小副本比例(默认99.9%)且稳定30秒后自动退出。管理员可通过命令手动控制安全模式,常见问题包括无法自动退出(需检查DataNode状态或调整参数)和误操作进入(手动退出即可)。安全模式是HDFS保证数据完整性的重要机制。

2025-10-26 11:16:17 587

apache-echarts-4.9.0-incubating-src.zip

echarts

2022-05-07

edraw-max_cn_full5381.dmg

edraw-max_cn_full5381.dmg

2022-05-05

BaiduNetdisk_mac_3.4.1.dmg

百度网盘mac

2022-05-06

electerm-1.18.5-mac-x64.dmg

mac 好用的ssh桌面终端软件

2022-05-04

Feishu-3.29.3.dmg

飞书mac

2022-05-03

KDocs_1001_v2.1.0.dmg

KDocs_1001_v2.1.0.dmg

2022-05-02

kplayer201.zip

kplayer201.zip 播放器

2022-05-01

mailmaster.dmg

mailmaster.dmg

2022-04-30

MavenRunHelper.zip

MavenRunHelper

2022-04-29

scala-intellij-bin-2020.1.43

scala-intellij-bin-2020.1.43 idea插件

2022-04-28

WeChatMac安装包

微信mac安装包

2022-04-27

ffmpeg应用程序(mac)

ffmpeg应用程序

2022-04-26

Statistic-4.0.jar

Statistic-4.0.jar

2022-04-25

hadoop-lzo-0.4.16

依赖包

2022-04-22

maven-thrift-plugin-0.1.10

maven插件 maven-thrift-plugin-0.1.10

2022-04-21

Typora mac版本 Typora.dmg

Typora编写markdown的神器,0.9.9.34.2

2022-04-19

thrift-maven-plugin-0.10.0

maven插件jar包

2022-04-20

mysql元数据工具类

可以获取数据库所有表、获取表字段信息

2024-01-23

Hive-JSON-Serde-1.3.8.zip

Hive-JSON-Serde-1.3.8.zip

2022-05-23

consul_1.10.2_darwin_amd64.zip

consul_1.10.2_darwin_amd64.zip

2022-05-22

hbase-2.2.7-bin.tar.gz

hbase-2.2.7-bin.tar.gz

2022-05-21

Mycat-server-1.6.7.4-release-20200105164103-mac.tar.gz

Mycat-server-1.6.7.4-release-20200105164103-mac.tar.gz

2022-05-20

Nacos-2.0.3.zip

Nacos-2.0.3.zip

2022-05-19

redis-unstable.tar.gz

redis-unstable.tar.gz

2022-05-18

resin-4.0.65.tar.gz

resin-4.0.65.tar.gz

2022-05-17

resin-4.0.65-src.tar.gz

resin-4.0.65-src.tar.gz

2022-05-16

scala-2.13.3.tar

scala-2.13.3.tar

2022-05-15

Sentinel-1.7.2.zip

Sentinel-1.7.2.zip

2022-05-14

apache-shardingsphere-incubating-4.0.1-sharding-proxy-bin.tar.gz

apache-shardingsphere-incubating-4.0.1-sharding-proxy-bin.tar.gz

2022-05-13

thrift-0.13.0.tar

thrift-0.13.0.tar

2022-05-11

sysbench-1.0.20.zip

sysbench-1.0.20.zip

2022-05-12

apache-tomcat-8.5.57-src.tar.gz

apache-tomcat-8.5.57 源码包

2022-05-10

32dbb32e528357ef1ec0b8863dd9--Docker.dmg

macos docker软件包

2022-05-09

elasticsearch-hadoop-6.8.23.zip

elasticsearch-hadoop

2022-05-08

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除