hadoop与spark
文章平均质量分 74
再见理想1992
本人从事Java开发,技术不太好,希望能写这个博客来记载自己的学习历程,也能与大家共同分享学习经验。
展开
-
Hadoop基础知识
一. NameNode、DataNode和Client。NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。DataNode是文件存储的基本单元,它将Block存储在本地文件系统原创 2016-03-14 20:54:14 · 280 阅读 · 0 评论 -
hadoop
环境介绍: 在两台装有centos6.4(32位)的服务器上安装Hadoop-2.5.1分布式集群(2台机器,主要试验用,哈哈)。 1.修改主机名和/etc/hosts文件 1)修改主机名(非必要) [plain] view plain copy vi /etc/sysconfig/network HOSTNA转载 2016-03-14 20:55:48 · 276 阅读 · 0 评论 -
hadoop总结,挺详细的(转载)
Hadoop集群系列(目录) 目录安排: 1)Hadoop集群_第1期_CentOS安装配置_V1.0 2)Hadoop集群_第2期_机器信息分布表_V1.1 3)Hadoop集群_第3期_VSFTP安装配置_V1.0 4)Hadoop集群_第4期_SecureCRT使用_V1.0 5)Hadoop集群_第5期_Hadoop安装配置_V1.1转载 2016-06-30 10:30:33 · 361 阅读 · 0 评论