- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark 中 宽依赖 和 窄依赖的 区别及优缺点
spark 中 宽依赖 和 窄依赖的 区别及优缺点原创it_liangsir 最后发布于2018-06-29 17:58:02 阅读数 3315 收藏展开窄依赖与宽依赖的概述：rdd 中的–宽依赖—父RDD每个分区的数据可能被多个子RDD分区使用 ，子RDD分区通常对应所有的父RDD分区，这其中分为两种情况：1，一个父RDD的分区对应所有的子RDD的分区（没有core-patitione...
2020-04-26 01:10:36
980
原创 spark的理解
对Spark的理解Spark作为一个新的分布式计算引擎正慢慢流行起来，越来越来的企业也准备用它的替换MapReduce,根据自己在工作的一些体会谈谈的优势。分布式计算归根到底还是一个Map和Reduce操作，Map操作对每个数据块进行计算，Reduce操作对结果进行汇总，现在一些NoSQL分布式数据库其实也是这么一套计算框架，只是map和reduce太基础，太简陋，实现相关的业务时开发比较复杂...
2020-04-26 01:06:46
197
原创 突发宕机，Kafka写入的数据如何保证不丢失？
我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了 Kafka 的核心架构原理。Kafka 分布式存储架构那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。在 Kafka 里面，有一个核心的概念叫做“Topic”，这个 Topic 你就姑且认为是一个数...
2020-04-15 12:17:06
364
原创 HBase和Redis的区别
HBase和Redis的区别HBase和Redis的功能上比较相似。都是nosql类型的数据库。但是在适用场景上，两者还是有比较明显的区别的。下面基于读写性能、数据类型、数据量、部署难易、数据可靠性、应用场景、两者的结合等多个维度来比较一下两者。读写性能：HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的读取时长通常是几十微秒。性能相差非常大。数据类型：HBase和R...
2020-04-14 22:17:21
359
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人