hadoop
文章平均质量分 63
ptmozhu
云计算 SDN kubernetes
展开
-
CentOS上搭建hadoop集群
Centos6.5上安装hadoop2.5.2一、 环境四台服务器,一台做主节点namenode,三台从节点datanode1,datanode2,datanode3二、安装centos6.5(在四台机器做同样的操作)1、配置固定ip2、配置主机名vi/etc/sysconfig/network (分别为namenode,datanode1,datanode2,data原创 2016-09-29 20:21:23 · 454 阅读 · 0 评论 -
hadoop上eclipse开发环境搭建
hadoop上eclipse开发环境搭建1、下载安装eclipse并创建桌面快捷方式2、ant环境配置 apache-ant-1.9.4-bin.zip解压到/usr/local/目录下,配置环境变量ANT_HOME,并将bin目录配置到path下载地址:http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant原创 2016-09-29 20:48:18 · 459 阅读 · 0 评论 -
hadoop添加节点
hadoop添加节点(添加datanode4)1、配置主机名2、修改各服务器hosts,添加新机器的主机名3、配置新机器ssh无密钥登录。4、从其他机器拷贝hadoop安装文件5、修改namenode的配置文件slaves ,添加新增节点的host6、在新节点的机器上,启动服务[hadoop@datanode4~]#hadoop-daemon.sh st原创 2016-09-29 20:52:19 · 491 阅读 · 0 评论 -
hadoop迁移namenode
hadoop迁移namenode1、问题问题:由于之前安装namenode的机器系统不太稳定,把其中一台datanode1机器与namenode节点交换身份。Datanode1做namenode,namenode做datanode1. 原理:Hadoop集群中,无论是那台机器做Namenode,只要配置指向该节点,且该节点文件路径与原Namenode一致,则其他Datanode节点原创 2016-09-29 20:57:52 · 1299 阅读 · 0 评论 -
hadoop源码编译
hadoop源码编译 第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器可访问互联网,否则难逐一解决所有的编译问题,但第一次之后的编译则不用再下载了。 1. 安装依赖1) JDK 2) Maven 3.0或更新版本3) ProtocolBuffer 2.5.04) CMake 2.6或更新版本5) Findbugs 1.3.9,原创 2016-09-29 21:01:23 · 506 阅读 · 0 评论 -
hadoop集群常见问题集锦
hadoop集群常见问题集锦hadoop集群搭建、使用过程中遇到了很多,特记录下1、 ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:Incompatible namespaceIDs 导致datanode启动不了。 no datanode to stop 原原创 2016-09-29 21:06:26 · 1208 阅读 · 0 评论