个人提升
文章平均质量分 90
个人提升
arno_wzk
这个作者很懒,什么都没留下…
展开
-
hadoop之MapReduce
MapReduce是hadoop的三驾马车之一,是一个批处理计算框架。以下内容中,为方便描述 MapReduce有时简写为MR。理论基础:源自于Google发表于2014年12月的MapReduce论文,可以把Hadoop MapReduce是Goole MapReduce的克隆版。整体思路:局部性原理将整个问题分而治之。MR之前,数据分布在各个节点;MR时每个节点就近读取本地存储的数据处理(MAP)-处理后的数据进行合并(combine)-排序(shuffle & sort).原创 2021-02-09 15:26:43 · 280 阅读 · 0 评论 -
hadoop之HDFS架构详解
HDFS是hadoop的三驾马车之一,是一种大规模分布式文件存储系统。使用HDFS存储的场景是:当数据集大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区,并存储到若干台独立的计算机上。HDFS的设计特点:•超大文件• 流式数据访问• 低成本• 数据一致性• 高吞吐率• 易扩展• 高容错下面我们解剖一下HDFS的设计实现,来分析HDFS是如何体现其特点的。(说明:以下内容 基于 hadoop v2.7.7)提醒:本次内容有点多,...原创 2021-02-01 13:16:34 · 1022 阅读 · 5 评论 -
Hadoop之Hadoop的前世今生,适合什么场景?
一提大数据,人们就想到Hadoop。Hadoop基本上成为了大数据的代言人了。那Hadoop到底是什么?用于解决什么问题?hadoop的起源背景HDFS源自于Goole的GFS论文(发表于2003年10月),HDFS是GFS的克隆版。 PS: 近些年和google相关的几个开源产品对软件进步影响还是挺大的,比如:移动应用圈的Android、大数据圈的Hadoop、云原生圈的Kubernetes。这是众多计算机牛人喜欢google的很大的一个原因吧 hadoop的.原创 2021-02-01 10:24:36 · 484 阅读 · 0 评论 -
典型大数据架构有哪些?我该怎么选择?
讨论大数据架构,不可避免要讨论传统的结构化存储和数据仓库。 PS:最原始的结绳记事、仓颉造字不在咱们讨论范围内哈,咱们主要讨论计算机出现以后的数据存储。 我们对数据存储方式的认知顺序一般是: 注意:这个演变过程,并不代表后者代替前者,每种方式都有其适合的应用场景,多种存储方式在一定时间内会是同时存在。他们的优缺点分析如下:存储方式 简介 优点 缺点 结构化 数据库 也称作行数据库,使用二维表结构来...原创 2020-11-16 22:06:03 · 1498 阅读 · 2 评论 -
Js:正则表达式常用匹配参考手册
转贴:http://summerdream.spaces.live.com/blog/cns!f3c10e51d7dc55eb!408.entry[ZT]Js:正则表达式常用匹配参考手册字符描述: ^符号匹配字符串的开头。例如: ^abc 与“abc xyz”匹配,而不与“xyz abc”匹配 $符号匹配字符串的结尾。例如: ab...原创 2008-08-20 12:59:48 · 242 阅读 · 0 评论