大数据技术名词解释

1、Hadoop:由Apache基金会所开发的分布式系统基础架构,是一个能够对大量数据进行分布式数据的软件框架。Hadoop包含多个技术核心:HDFS、MapReduce、Hive、Hbase。

2、HDFS:Hadoop Distributed File System,即分布式文件系统,其关键技术:NameNode、DataNode。

3、MapReduce:根源是函数性编程中的Map和Reduce,Map函数接受一组数据并将其转换为键/值对列表,Reduce函数接受Map函数生成的列表,然后根据它的键缩小键/值对。

4、Hbase:是一个分布式、面向列的开源数据库。

5、Hive:建立在Hadoop上的数据仓库基础架构,它提供一系列的工具,可以用来进行存储、查询、分析存储在Hadoop上的大规模数据的机制。

6、Zookeeper:为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

7、Pig:大数据分析平台、为用户提供多种接口。Pig是一种编程语言,它简化了Hadoop常见的工作服务。

8、NoSQL:Not only SQL,泛指非关型数据库,区分传统的关系型数据库。表现最突出的产品有:MongoDB、Hbase、CouchDB、Cassandra、SequoiaDB等。

9、Spark:类似Hadoop MapReduce的通用并行框架,不同之处在于Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,可优化迭代工作负载。发展势头很猛,有人甚至因此认为Hadoop已死。

10、Docker:一个开源的应用程序容器,开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。目前只能虚拟基于Linux的服务,Windows服务还不能被虚拟,但据说未来会。相对于虚拟机可以大大提高资源的利用率,而不是把有限的资源浪费在虚拟化硬件上,所以一经推出就备受吹捧。

-----不断补充中--------

大数据技术比较复杂,罗列名词的目的是帮助自己理清大数据技术的组成,不至于在工作中被各种术语弄晕,更好地提升自己。

发布了750 篇原创文章 · 获赞 38 · 访问量 144万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览