hadoop
文章平均质量分 63
ptmozhu
云计算 SDN kubernetes
展开
-
CentOS上搭建hadoop集群
Centos6.5上安装hadoop2.5.2 一、 环境 四台服务器,一台做主节点namenode,三台从节点datanode1,datanode2,datanode3 二、安装centos6.5(在四台机器做同样的操作) 1、配置固定ip 2、配置主机名vi/etc/sysconfig/network (分别为namenode,datanode1,datanode2,data原创 2016-09-29 20:21:23 · 437 阅读 · 0 评论 -
hadoop上eclipse开发环境搭建
hadoop上eclipse开发环境搭建 1、下载安装eclipse并创建桌面快捷方式 2、ant环境配置 apache-ant-1.9.4-bin.zip解压到/usr/local/目录下, 配置环境变量ANT_HOME,并将bin目录配置到path 下载地址:http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant原创 2016-09-29 20:48:18 · 445 阅读 · 0 评论 -
hadoop添加节点
hadoop添加节点(添加datanode4) 1、配置主机名 2、修改各服务器hosts,添加新机器的主机名 3、配置新机器ssh无密钥登录。 4、从其他机器拷贝hadoop安装文件 5、修改namenode的配置文件slaves ,添加新增节点的host 6、在新节点的机器上,启动服务 [hadoop@datanode4~]#hadoop-daemon.sh st原创 2016-09-29 20:52:19 · 479 阅读 · 0 评论 -
hadoop迁移namenode
hadoop迁移namenode 1、问题 问题:由于之前安装namenode的机器系统不太稳定,把其中一台datanode1机器与namenode节点交换身份。Datanode1做namenode,namenode做datanode1. 原理:Hadoop集群中,无论是那台机器做Namenode,只要配置指向该节点,且该节点文件路径与原Namenode一致,则其他Datanode节点原创 2016-09-29 20:57:52 · 1280 阅读 · 0 评论 -
hadoop源码编译
hadoop源码编译 第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器可访问互联网,否则难逐一解决所有的编译问题,但第一次之后的编译则不用再下载了。 1. 安装依赖 1) JDK 2) Maven 3.0或更新版本 3) ProtocolBuffer 2.5.0 4) CMake 2.6或更新版本 5) Findbugs 1.3.9,原创 2016-09-29 21:01:23 · 499 阅读 · 0 评论 -
hadoop集群常见问题集锦
hadoop集群常见问题集锦 hadoop集群搭建、使用过程中遇到了很多,特记录下 1、 ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:Incompatible namespaceIDs 导致datanode启动不了。 no datanode to stop 原原创 2016-09-29 21:06:26 · 1162 阅读 · 0 评论