![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
小文件
文章平均质量分 90
星环科技TDH社区版
星环科技社区版家族基于商业版强大的技术底座打造,目前免费提供了多个极具竞争力的核心子产品及开发管理套件,致力于让广大开发爱好者快速享受到大数据技术所带来的技术红利,提供了一个更轻量、更简单、更易用的数据分析开发环境。
展开
-
小文件过多的解决方法(不同阶段下的治理手段,SQL端、存储端以及计算端)
在生产上小文件一直以来都是很棘手的问题,从上游到下游的各个步骤都有可能产生小文件问题,虽然技术上星环针对此类问题做了很多处理机制。本篇文章介绍了不同阶段下的小文件问题如何处理。原创 2024-06-18 17:52:56 · 799 阅读 · 0 评论 -
小文件治理系列之为什么会出现小文件问题,小文件过多问题的危害以及不同阶段下的小文件治理最佳解决手段
大数据场景下会产生海量文件,其中,小文件会对系统造成一系列影响。在实际业务中,小文件现象出现频率并不低,客户现场开发环境和或生产环境多或少都会遇到小文件问题,这些问题或来自上游系统,亦可能是因为表的分区分桶不合理,也可能是来自于不规范的sql等等。当小文件过多时,将会导致内存占用高、集群不稳定,增加计算资源的开支等一系列问题。因此小文件治理是必要的也是迫切的。原创 2024-05-07 15:58:58 · 894 阅读 · 1 评论 -
不同表格式下的小文件治理方式(开源RC file/ORC/Text非事务表、事务表、Holodesk表格式..)
本篇文章将为读者介绍不同表格式如何处理小文件合并相关问题,涉及非事务表、事务表以及星环自研的高性能Holodesk表。原创 2024-06-19 11:35:09 · 1249 阅读 · 0 评论