大数据
文章平均质量分 70
大数据基础及实战
白木Channel
热爱写作,热衷技术,喜欢分享有趣好玩的计算机知识。掘金优质创作者,知乎优质答主,CSDN优质博主,阿里云专家博主,华为云云享专家
展开
-
flink1.13+ 集成hadoop 遇到问题及解决方法
问题1:在 Flink 1.11.0 版本之后,增加了很多重要新特性,其中就包括增加了对 Hadoop3.0.0 以及更高版本 Hadoop 的支持,不再提供“flink-shaded-hadoop-*”jar 包,而是通过配置环境变量完成与 YARN 集群的对接。在将 Flink 任务部署至 YARN 集群之前,需要确认集群是否安装有 Hadoop,保证 Hadoop版本至少在 2.2 以上,并且集群中安装有 HDFS 服务。...转载 2022-08-11 20:25:51 · 2769 阅读 · 0 评论 -
flink配置文件说明
代码】flink配置文件说明。转载 2022-08-10 16:14:10 · 1143 阅读 · 0 评论 -
一文搞懂缓存穿透,缓存击穿,缓存雪崩
比如,在初始化缓存的时候,给这些数据的过期时间增加一个较小的随机数,这样一来不同数据的过期时间有所差别又差别不大,即避免了大量数据同时过期又能保证这些数据在相近的时间失效。初始化缓存数据的时候设置缓存永不过期,然后启动一个后台线程30秒一次定时把所有数据更新到缓存,而且通过适当的休眠,控制从数据库更新数据的频率,降低数据库压力。缓存击穿是指热点key在某个时间点过期的时候,而恰好在这个时间点对这个Key有大量的并发请求过来,从而大量的请求打到db,属于常见的“热点”问题。缺点实现复杂,存在误判。...原创 2022-07-29 09:42:58 · 9318 阅读 · 0 评论 -
分布式基础:Paxos算法详解
Paxos算法是莱斯利·兰伯特于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。产生背景在常见的分布式系统中,总会发生节点宕机或网络异常(包括消息的重复、丢失、延迟、乱序、网络分区)等情况。Paxos算法主要就是解决如何在一个发生如上故障的分布式系统中,快速正确的在集群内对某个值达成一致,并且保证整个系统的一致性。背景拜占庭帝国想要进攻一个城市,为此派出了10个将军率领10支军队,这个城市足以抵御5支常规拜占庭军队的同时袭击。解决方案。............原创 2022-07-22 07:40:19 · 505 阅读 · 0 评论 -
分布式基础:Curator实现Zookeeper分布式锁
官网的说法curator是一个Java/JVM客户端库,用于zookeeper,一个分布式协调服务。它包括一个高级API框架和实用程序,使ApacheZooKeeper的使用更加简单和可靠。它还包括常见用例和扩展的方法,如服务发现和Java8异步DSL。Curator使用手册-腾讯云开发者社区-腾讯云配置zookeeper集群参考;https。...........................原创 2022-07-21 22:34:17 · 2365 阅读 · 0 评论