分布式计算
文章平均质量分 94
Dreammmming Time
人啊,毕业时意气风发,进入社会后就逐渐钝化了,因此希望通过知识分享和新知识学习,在大数据领域彼此勉励,共同成长,拒绝被环境束缚。
展开
-
JAVA Thread.yield()方法(请求释放CPU)的理解及在ForkJoinPool中的使用
yield()方法是一个静态成员方法,会向调度器发送一个请求,表示愿意主动释放自己占用的处理器,避免自己过度占用,导致其它线程饥饿,但这并不意味着当前线程一定会释放资源,这取决于调度器的运行时调度策略,因此此方法并非用于资源同步目的,而是为了提升多线程场景下的处理性能。原创 2024-06-20 22:24:53 · 920 阅读 · 0 评论 -
OLAP技术的发展及趋势简述
类似于MySQL中存储JSON表达式列(虚拟列)的功能,Iceberg中利用Transformer实现隐藏分区的功能,Clickhouse中的聚合视图表的功能等,该功能可以动态扩充源表的列,同时可以由使用者决定写时计算或读时计算,以应对不同的场景。对于数据分析人员,使用OLAP系统不过是计算出预想的数据结构和关系,然后再在自己的场景下利用数据分析手段,找到数据与业务的关系,但随着大模型或AI技术的普及,数据从清洗、到转换、到计算、到分析、再到解释,大胆预测必将成为一个固定的。原创 2024-02-06 13:24:16 · 1276 阅读 · 0 评论 -
Trino: 基于时间片的Split数据处理模型
越来越多的主流分布式计算引擎,选择基于时间片的线程调度模型处理数据。原创 2024-01-05 19:11:45 · 1183 阅读 · 0 评论