大数据
湖西
好好学习,天天向上
展开
-
简单了解分布式存储笔记
1.什么是大数据?短时间内快速产生海量的多种多样的有价值的数据。2.大数据中的技术①分布式存储②分布式计算 分布式批处理攒一段时间的数据,然后在未来某个时间处理这批数据。 分布式流处理不需要攒数据,直接处理,每产生一条数据,立刻对这条数据进行处理。3.分布式存储的数据类型非结构化的数据主要是数据之间的关联系不大,想文本图片之类的数据。结构化的数据数据之间关联系很大,...原创 2019-02-09 15:05:10 · 255 阅读 · 0 评论 -
对Hadoop的简单了解
摘自[期刊论文] 宋伟- 《电子制作》2014年12期1.Hadoop概述Hadoop平台采用的是并行计算、分布式存储结构的数据计算系统,它采用成本较低的PC设备组建了大型集群,进而构成了一个用于处理海量数据的分布式计算系统。Hadoop平台的源代码是开放式的,这种体系结构便于系统的二次开发,以此来满足某一特定群体的特殊要求。Hadoop系统只需要投入较低的成本可以处理高容量的数据,Ha...原创 2019-02-10 15:27:33 · 264 阅读 · 0 评论