![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
汉森X
哈工大计算机系学生
展开
-
hadoop完全分布式下datanode无法开启解决方法
一、问题描述当我多次格式化文件系统时,如root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format会出现datanode无法启动,查看日志,发现错误为:2016-12-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: j原创 2017-01-04 11:00:42 · 2706 阅读 · 0 评论 -
深入理解Hadoop集群与网络
本文侧重于Hadoop集群的体系结构和方法,以及Hadoop与网络和服务器基础设施之间的关系。Hadoop集群部署时有三个角色:Client machines, Master nodes和Slave nodes。Master nodes负责Hadoop的两个关键功能:数据存储(HDFS);以及运行在数据之上的并行计算(又称为Map-Reduce)。N转载 2016-12-29 21:04:00 · 1558 阅读 · 1 评论 -
Windows下安装hadoop-eclipse-plugin插件
一、简介由于经常在windows环境下的eclipse写Hadoop的Java代码,而每次开发的mapreduce都需要打成jar包,然后放到linux系统进行调试。通过window下面的eclipse插件,可以直接在windows下面调试mapreduce的方法,十分便利。二、插件安装步骤1.下载hadoop-eclipse-plugin-2.7.3.jar(由于我的Hadoop版本是2.7.3,原创 2017-02-17 22:31:39 · 4914 阅读 · 0 评论 -
Hadoop机架感知配置
文章装载自http://blog.csdn.net/l1028386804/article/details/519351691.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿转载 2017-02-22 16:40:32 · 1295 阅读 · 0 评论 -
HDFS文件读取、写入过程详解
HDFS架构-------------------------- 运行在廉价的硬件之上的、成本较低的、访问大型数据集、具有容错的特性、容错机制。HDFS是master/slaves架构,由一个名称节点以及多个数据节点构成。namenode负责namespace管理以及client的访问。内部文件被切块存储在数据节点的集合中。 NameNode(元数据节点):存放元数据(名称空间、副原创 2017-03-29 21:05:42 · 8968 阅读 · 3 评论