![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 61
霖雨洛
雨洛的海...
展开
-
Hadoop学习笔记
Hadoop介绍 Hadoop是Google云计算框架的开源实现,是一个分布式存储和分布式计算的框架,主要包括HDFS和MapReduce的实现。 HDFS HDFS由一个NameNode和多个DataNode组成,其中NameNode相当于系统的元数据存放地,它是Hadoop系统的神经中枢,而多个DataNode存储数据。 MapReduce:分布式计算原创 2015-10-15 11:13:53 · 203 阅读 · 0 评论 -
大数据的生态圈 Hadoop,hive,spark
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。各有各的用处,互相之间又有重合。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择。 HDFS: 传统的文件系统是单机的,不能横跨不同的机器。HDFS(Hadoop Distributed FileSystem)的设计本质上是为了大量的数据能横跨成百上千台机器,原创 2015-10-14 11:23:51 · 477 阅读 · 0 评论 -
<一>Strom实时计算学习笔记
Storm计算基本机构 本篇包含以下几点: strom topology 的基本组成补分; 搭建storm开发环境; 实现单词技术程序; 并发和容错机制; 第一:storm topology 的基本组成部分:stream ,spout ,和bout; storm分布式计算机构称为topology;由stream(数据流) ,spout(数据生产者) ,和bout原创 2015-10-15 11:26:48 · 284 阅读 · 0 评论 -
大索引技术的潮流
随着Hadoop技术的普及,其生态圈发展的越来越壮大,Hive、Hbase、Spark、Storm等的一系列新名词不断的涌现在我们的眼里。似乎NoSQL一夜间,攻陷了全部的大数据阵地。 传统的关系型数据库的一些思路,真的没有用武之地了么?真的就一去不复返了么?当大数据技术大旗在每个山头摇摆的时候,我们躲在角落里还能做些什么?“索引”,没错,数据库时代的必杀,大数据的利器。翻译 2015-10-14 16:42:08 · 264 阅读 · 0 评论