![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
暁洣
读奇书,做奇事,交奇友,做个奇女子
展开
-
大数据学习——2PC算法
分布式下数据一致性问题对于一个将数据副本分布在不同得分布式下的系统来说,如果对一个节点的数据进行更新,但是其他节点的数据却没有进行相应的更新,于是在读取其他节点的数据时,便不是最新的数据,即脏数据,这就是典型的数据不一直问题。为解决这个问题,涌出了大批的算法和协议,其中较为经典的就是二次提交,三次提交,以及Paxos算法。2PC概念2PC是Two-Phaso-Commit的缩写,即二阶段提...原创 2019-04-18 17:29:45 · 2445 阅读 · 0 评论 -
漫谈数据库和数据仓库的区别和联系
背景接触大数据两年的时间里,数据仓库这个词频繁出现在我的耳朵里,随着知识的逐渐积累,对数据仓库和数据库也有了一个大概的了解。概念数据库(DB)简单来说,数据库就是存储数据的仓库,主要有关系型数据库和非关系型数据库,这是一种逻辑上的概念。数据仓库(DW)从逻辑上来理解,和数据库的概念一致,都是存储数据的仓库,只是数据仓库的数据量更大。数据仓库的特点数据仓库是面向主题的那么什么...原创 2019-07-26 15:20:23 · 1998 阅读 · 0 评论 -
分布式计算系统三巨头--Hadoop、Storm、Spark的区别和比较
目前主流的三大分布式计算系统Hadoop、Storm、Spark被广泛运用于大数据领域,且常常用来进行比较。现在就来分析一下,三只之间的区别Hadoop、Spark的比较 核心组成 hadoop核心包括Hadoop分布式文件系统(HDFS),Hadoop YARN,HadoopMapReduce。Spark包括sparkcore,sparksql,sparkstreaming,spark...原创 2019-08-07 11:06:03 · 1299 阅读 · 0 评论