![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
haiyan09
完成大于完美
展开
-
kafka 如何 保证 数据 不丢失
kafka如何保证数据的不丢失 生产者如何保证数据的不丢失 kafka的ack机制:在kafka发送数据的时候,每次发送消息都会有一个确认反馈机制,确保消息正常的能够被收到 如果是同步模式:ack机制能够保证数据的不丢失,如果ack设置为0,风险很大,一般不建议设置为0 producer.type=sync request.required.acks=1 (# 设置发送数据是否需要服务端的反馈,有...原创 2019-12-06 18:48:34 · 353 阅读 · 0 评论 -
HADOOP生态圈介绍
HADOOP生态圈介绍 hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 具有可靠、高效、可伸缩的特点。 Hadoop的核心是YARN,HDFS和Mapreduce 下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spar...转载 2019-10-13 16:28:55 · 194 阅读 · 0 评论