大数据工具
文章平均质量分 82
xingchenhy
这个作者很懒,什么都没留下…
展开
-
Namenode
Namenode管理着文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。Namenode记录着每个文件中各个块所在的数据节点的位置信息,这些信息会在系统启动时从数据节点重建。Namenode结构图: 客户端代表用户与namenode和datanode交互访问整个文原创 2017-07-13 17:00:35 · 830 阅读 · 0 评论 -
Storm中worker, executor,task之间的关系:
worker即进程,一个worker就是一个进程,进程里面包含一个或多个线程,一个线程就是一个executor,一个线程会处理一个或多个任务,一个任务就是一个task,一个task就是一个节点类的实例对象。storm集群的一个节点可能有一个或者多个工作进程(worker)运行在一个多个拓扑上,一个工作进程执行拓扑的一个子集。工作进程(worker)属于一个特定的拓扑,并可能为这个拓扑的一个或者原创 2017-07-13 17:06:46 · 2116 阅读 · 0 评论 -
大数据开源工具
具体介绍详情见 : http://www.36dsj.com/archives/35050转载 2017-06-27 17:15:34 · 169 阅读 · 0 评论 -
GPU入门介绍
学习记录,排版可能有点乱,重点在内容。。。。。部分内容转载于:https://blog.csdn.net/fengbingchun/article/details/54691225。感谢博主的分享。主机将CPU及系统的内存(内存条)称为主机。设备将GPU及GPU本身的显示内存称为设备。线程(Thread)一般通过GPU的一个核进行处理。(可以表示成一维,二维,三维,具体下面再细说)。...转载 2019-04-17 11:16:31 · 9626 阅读 · 1 评论 -
基于CentOS 7的Hadoop-2.7.7集群搭建学习步骤
整篇文章转载于:https://blog.csdn.net/shayuwei/article/details/89158419。 感谢博主的分享好好学习。 文章目录1 基于 VMware workstations 的CentOS7安装1.1 安装虚拟机1.2 安装CentOS7操作系统2 L...转载 2019-04-18 16:49:24 · 943 阅读 · 0 评论