- 博客(3)
- 收藏
- 关注
RSS订阅
翻译 分布式消息队列
1. 我们为什么要用消息队列呢？ 我们使用消息队列最多的应用场景就是解耦、异步、削峰解耦是什么？ 这就是传统模式的缺点：系统之间的耦合性太强了，就像上图一样！A系统在代码中直接调用B系统和C系统的代码！，但是如果在D系统接入的时候！，系统A就需要重新修改代码！太繁琐了！中间件模式的优点：...
2018-07-10 17:25:52
2247
翻译 Kafka的分区策略
在kafka中，每个topic一般会有很多个Partitions。为了使我们能够及时的消费消息！ 我们也可能启动多个Consumer去消费分区，而每个Consumer同样会启动一个或者是多个streams去分别消费Topic里面的数据。我们又知道，在Kafka中存在着Consumer Group的概念，也就是在group.id 一样的Consumer，这些Consumer属于同一个Con...
2018-07-02 21:16:11
13849
2
翻译 Spark SQL的底层执行流程
说到Spark SQL ，我们不得不提到它的优化器（Catalyst），Catalyst是Spark sql的核心，它是针对于Spark SQL语句执行过程中的查询优化框架。所以在想了解Spark SQL的执行流程的时候，理解一下Catalyst的工作流程是很有必要的！ 了解Catalyst的话！ 一张图解释一下它的全流程。其中黑色方框为Catalyst的工作流程。 SQL语句首相通过Pa...
2018-07-02 09:46:10
6568
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人