- 博客(6)
- 收藏
- 关注
RSS订阅原创 MapReduce
一、MapReduce的分布式计算框架原理mapreduce它是一种编程模型，用于大规模数据集（大于1TB）的并行运算概念：map(映射) reduce(归约) 是它们的主要思想 都是从函数式编程语言借来的和矢量编程 语言借来的，极大的方便了编程人员在不会分布式并行编程的情况下，让程序运行在分布式系统上，当前实现的是把map函数中的键值对映射成新的键值对，指定并发的reduce函数，保证所有映...
2019-02-23 15:52:57
556
原创 YARN的组成
YARN的组成有哪些？1、主要由 ResourceManager、ApplicationMaster、nodeManager、container组成2、ResourceManager（RM）YARN的分层结构是ResourceManagerRM控制整个集群，管理应用程序向基础计算机资源的分配RM将各个资源安排给nodeManagerRM与ApplicationMaster一起分配资源...
2019-01-07 19:52:18
1001
原创 hadoop节点介绍
一 NameNode目录的管理者，每一个集群都有一个，记录实时数据如果没有nameNode ，HDFS将无法工作 ，很多文件系统将会丢失。主要负责：1）接受用户请求2）维护系统的目录结构3）管理文件与block之间的联系2 DataNode文件系统的工作节点 根据客户端或者是namenode调用存储调度和检索，他会定期向namenode发送存储的块的（block）的列表集群中...
2019-01-07 19:28:45
1287
原创 hadoop课堂笔记
扩展备注：gdb 相当于debug 调试工作 gcc g++ mak (存在bin目录 所有人可以) sbin(管理员)课堂随笔一、hadoop: DWH:(数据仓库解决方案)DBMS：(数据库管理系统) DB2----IBM公司SQL server （微软） SSRS（报表解决方案 微软）二、NOSQL数据库 (get/set)mongo D...
2018-12-20 21:48:20
207
原创 **大数据hadoop了解**
一、Hadoop介绍 1. 什么是“hadoop”? 2. 大数据的概念与应用 3. 云计算1.什么是“hadoop”? Hadoop是一个开发和运行处理大规模数据的软件平台，可编写和运行分布式应用处理大规模数据，是Appach的一个用**java语言实现开源软件框架**，实现在大量计算机组成的集群中对海量数据进行分布式计算2.大数据的概念与应用 1） 大数据是指以多元形式，自许...
2018-12-18 22:25:44
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人