大数据
文章平均质量分 60
架构师研究会
架研年近半百 ,有20多年IT工作经历,目前在一家500强做企业架构。因为工作需要,另外也因为兴趣涉猎比较广,为了自己学习建立了三个博客,分别是【全球IT瞭望】,【架构师研究会】和【开发者开聊】,有更多的内容分享。
最近因为工作需要打算先备考CPA,然后CFA,如果可能也想学习法律,备战律考。
不满足是向上的车轮,是我的座右铭。
展开
-
【开源软件】最好的开源软件-2023-第21名 Redpanda
Redpanda是主要用C++编写的Kafka的插件替代品,它使用Seastar异步框架和Raft共识算法作为分布式日志。它可以将平均延迟降低10倍,Kafka事务速度提高6倍,同时运行的资源更少。即使在C++中重新实现之外,Redpanda也使用异步、无共享、每个核心线程的模型,无锁定、最小上下文切换和线程本地内存访问。Redpanda通过内联WebAssembly转换和地理复制的分层存储/阴影索引,超越了Kafka协议,进入了流媒体的未来。原创 2023-12-13 21:40:11 · 455 阅读 · 0 评论 -
【开源软件】最好的开源软件-2023-第22名 Apache Iceberg
Apache Iceberg是一种用于大型分析表的高性能格式,它将SQL表的可靠性和简单性带到了大数据中,同时使Trino、Spark、Sonar、Presto、Hive、Flink和Impala等引擎能够同时安全地使用相同的表。Iceberg支持灵活的SQL命令来合并新数据、更新现有行和执行有针对性的删除。它可以急切地重写数据文件以获得读取性能,也可以使用删除增量以获得更快的更新。Iceberg支持模式进化、自动分区、时间旅行查询、版本回滚和开箱即用的数据压缩。原创 2023-12-13 21:37:45 · 532 阅读 · 0 评论 -
【开源软件】最好的开源软件-2023-第23名 Apache Druid
Apache Druid是一个实时分析数据库,通过Kafka、Kinesis和其他平台的流摄取,提供亚秒查询、高并发性以及实时和历史见解。原创 2023-12-13 20:36:47 · 402 阅读 · 0 评论