大数据
文章平均质量分 95
12十二12
12
展开
-
MapReduce课程结构
MapReduce的定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce的核心功能是将用户编写的业务逻辑代码和自带默认组件结合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。MapReduce的优缺点优点:MapReduce易于编程,他简单的实现一些接口,就可以完成一个分布式程序。这个分布式程序可以分布到大量廉价的PC机器上的运行;也就是说,编写一个分布式程序,和写一个串行的程序是一样的,这样子可以减轻了程序原创 2021-11-16 17:37:30 · 2337 阅读 · 0 评论 -
HDFS课程结构
HDFS的shell操作:什么是HDFS,HDFS就是用来管理多台机器上的文件,就是分布式文件管理系统。HDFS用来存储文件,是一个文件系统,通过目录树来定位文件。是有很多台服务器联合起来实现他的功能的。适合一次写入,多次读出的场景,并且不支持文件的修改,适合用作数据分析,但是不适合作为网盘。HDFS的优缺点优点:高容错性,数据自动保存副本,通过增加副本的形式,提高容错性。某一个副本丢失之后,可以自动恢复。(在另一台主机上进行恢复)。若集群的数量足够多 ,则可以在任意时间总是保持着定义的副本的数原创 2021-11-15 17:43:05 · 1370 阅读 · 0 评论