群问题
leofionn
梦想还是要有的。万一呢?
展开
-
kafka中的配额管理(限速)机制
kafka支持配额管理,从而可以对Producer和Consumer的produce&fetch操作进行流量限制,防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。1 Kafka Quatas简介Kafka配额管理所能配置的对象(或者说粒度)有3种:user + clientiduserclientid这3种都是对接入的client的身份进行的认定方式。其中,clien...转载 2018-05-22 13:00:23 · 3994 阅读 · 2 评论 -
Kafka副本同步机制理解
Apache Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。Apache Kafka特性之一是它的复制协议。对于单个集群中每个Broker不同工作负载情况下,如何自动调优Kafka副本的工作方式是比较有挑战的。它的挑战之一是要知道如何避免follower进入和退出同步副本列表(即ISR)。从用户的角度来看,如果生产者发送一大批海...转载 2018-05-14 20:43:25 · 2407 阅读 · 0 评论 -
Spark Streaming如何使用checkpoint容错
在互联网场景下,经常会有各种实时的数据处理,这种处理方式也就是流式计算,延迟通常也在毫秒级或者秒级,比较有代表性的几个开源框架,分别是Storm,Spark Streaming和Filnk。 曾经在一个项目里面用过阿里改造后的JStrom,整体感受就是编程略复杂,在不使用Trident Api的时候是不能保证准确一次的数据处理的,但是能保证不丢数据,但是不保证数据重复,我们在使用期间也出现过几次问...转载 2018-05-14 17:02:26 · 192 阅读 · 0 评论 -
spark概念:container和Executor
AM:ExecutorAM启动一个container -> executorlauncherexecutorlauncher启动一个container -> CoarseGraineExecutorBackend 相关链接,具体内容:http://spark.apache.org/docs/2.2.0/running-on-yarn.htmlhttp://spark.apache...原创 2018-06-05 21:16:25 · 6787 阅读 · 2 评论 -
Spark性能优化
https://blog.csdn.net/u012102306/article/details/51637366https://tech.meituan.com/tag/Spark(非常重要!!!!!!!!基本看此三篇就可以解决)ps具体的问题,若泽数据的线下都有讲解。包括源码级别的内存调优调研。(spark1.6之前之后对比!)...原创 2018-10-29 13:56:37 · 143 阅读 · 0 评论