- 博客(6)
- 收藏
- 关注
RSS订阅原创 MapReduce
一、MapReduce的分布式计算框架原理 mapreduce它是一种编程模型，用于大规模数据集（大于1TB）的并行运算 概念：map(映射) reduce(归约) 是它们的主要思想 都是从函数式编程语言借来的和矢量编程 语言借来的，极大的方便了编程人员在不会分布式并行编程的情况下，让程序运行在分布式系统上，当前实现的是把map函数中的键值对映射成新的键值对，指定并发的reduce函数，保证所有映...
2019-02-23 15:52:57
595
原创 YARN的组成
YARN的组成有哪些？ 1、主要由 ResourceManager、ApplicationMaster、 nodeManager、container组成 2、ResourceManager（RM） YARN的分层结构是ResourceManager RM控制整个集群，管理应用程序向基础计算机资源的分配 RM将各个资源安排给nodeManager RM与ApplicationMaster一起分配资源...
2019-01-07 19:52:18
1084
原创 hadoop节点介绍
一 NameNode 目录的管理者，每一个集群都有一个，记录实时数据 如果没有nameNode ，HDFS将无法工作 ，很多文件系统将会丢失。 主要负责： 1）接受用户请求 2）维护系统的目录结构 3）管理文件与block之间的联系 2 DataNode 文件系统的工作节点 根据客户端或者是namenode调用存储调度和检索，他会定期向namenode发送存储的块的（block）的列表 集群中...
2019-01-07 19:28:45
1326
原创 hadoop课堂笔记
扩展备注： gdb 相当于debug 调试工作 gcc g++ mak (存在bin目录 所有人可以) sbin(管理员) 课堂随笔 一、 hadoop: DWH:(数据仓库解决方案) DBMS：(数据库管理系统) DB2----IBM公司 SQL server （微软） SSRS（报表解决方案 微软） 二、 NOSQL数据库 (get/set) mongo D...
2018-12-20 21:48:20
257
原创 **大数据hadoop了解**
一、Hadoop介绍 1. 什么是“hadoop”? 2. 大数据的概念与应用 3. 云计算 1.什么是“hadoop”? Hadoop是一个开发和运行处理大规模数据的软件平台，可编写和运行分布式应用处理大规模数据，是Appach的一个用**java语言实现开源软件框架**，实现在大量计算机组成的集群中对海量数据进行分布式计算 2.大数据的概念与应用 1） 大数据是指以多元形式，自许...
2018-12-18 22:25:44
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人