2020年09月_pezynd

12月 11月 10月 09月 08月 07月 06月

转载转载 | 字节跳动 Flink 单点恢复功能实践

背景在字节跳动的实时计算场景中，我们有很多任务（数量 2k+）会直接服务于线上，其输出时延和稳定性会直接影响线上产品的用户体验，这类任务通常具有如下特点：流量大，并发高（最大的任务并行度超过 1w）拓扑类似于多流 Join，将各个数据源做整合输出给下游，不依赖 Checkpoint 没有使用 Checkpoint 并且对短时间内的小部分数据丢失不敏感（如 0.5%），但对数据输出的持续性要求极高在 Flink 现有的架构设计中，多流 Join 拓扑下单个 Task 失

2020-09-28 09:56:02 138

原创大数据理论篇 No.1-浅谈Flink中的数据传输

第1章疑问Flink在作业运行过程中，TaskManager之间会不断的进行数据交换，而TaskManager进程里是以Slot为单位执行任务的，一个TaskManager里可以有多个Slot，每个Slot之间都可能进行连接，并且传输数据，而在流计算的场景中，数据之间的交互需要非常的即使，但是如果每一次交互都立即传输，对网络资源的消耗会非常大，Flink是如何解决这一问题的呢？第2章缓冲区图1Slot之间传输数据的时候，实际是将数据先收集到缓存区中，而并非逐个发送，当数据被存到缓存区后，

2020-09-23 21:27:44 669 1

原创大数据实操篇 No.12-Kafka集群部署及使用

第1章简介Kafka作为一个高吞吐量的分布式发布订阅消息系统，在现今大数据生态中已经占有很重要的地位，在系统削峰、解耦等场景上也发挥了重要作用。其天生的分布式架构，可以灵活的进行扩展，可以非常好的支持大吞吐量的数据传输。因为其在大数据场景中的重要地位，并且后续文章案例中需要使用到Kafka，所以笔者这里单独介绍一章。第2章集群规划Kafka笔者这里只安装2台另外，由于Kafka需要使用Zookeeper，Zookeeper相关部署请参照笔者之前的文章：大数据实操篇 No.1-Zoo.

2020-09-16 21:34:13 298 2

原创大数据实操篇 No.11-Flink on Yarn集群HA高可用部署及使用

第1章简介Flink on Yarn的HA高可用模式，首先依赖于yarn自身的高可用机制（ResourceManager高可用），并通过yarn对jobmanager进行管理，当jobmanager失效时，yarn将重新启动jobmanager。其次flink job在恢复时，需要依赖checkpoint进行恢复，而checkpoint的快照依赖于hdfs的高可用，同时jobmanager的元数据信息也依赖于hdfs的高可用（namenode的高可用，和多副本机制），再者jobmanager元数据的指

2020-09-05 16:22:38 4635 8

原创记一次.NET HttpHandler接口性能优化过程（续）

第1章简介在上一篇文章中《记一次.NET HttpHandler接口性能优化过程》解决了同一客户端并发请求问题之后，IHttpHandler接口仍然是同步的模式，我们需要改成异步的模式，并将登录接口和业务接口拆开来，分别实现IRequiresSessionState和IReadOnlySessionState，已提高效率。这里需要思考两个问题：第一个问题是兼容：接口的修改需要考虑兼容性问题，原有接口建议不做改动；第二个问题是要考虑如何在前端代码不做任何改动的前提下，进行接口方法的重构。目的是做到接口的.

2020-09-02 20:55:58 250

原创记一次.NET HttpHandler接口性能优化过程

第1章简介本文介绍基于.NET Framework4.0环境的一次接口优化：当接口接收来自同一客户端（同一Session会话）的多个异步请求时，处理并发问题的优化；案例以笔者近期改进项目上的接口性能为例。接口以实现HTTPHandler的方式接收客户端请求。主函数实现了IHttpHandler和IRequiresSessionState接口。下面开始详细的问题发现和解决步骤。第2章发现问题2.1 JMeter压力测试现象2.2 服务器运行资源情况2.2.1应用服务器...

2020-09-01 19:06:03 421 1