2016年09月_ptmozhu

原创 OpenShift-sdn网络

在openshift中，如果使用docker 命令启动一个docker容器，容器中的网络没有任何不同；唯一的不同就是docker网络拍的网桥名是ibr0而不是docker0那运行在kubernetes/openshift中的pods呢？一个pod是由一组相关的容器组成，pod中的容器共享网络接口/hostname；两个容器（两个进程）可以使用“localhost”交流。O

2016-09-30 17:01:06 3825

原创 hadoop集群常见问题集锦

hadoop集群常见问题集锦hadoop集群搭建、使用过程中遇到了很多，特记录下1、 ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:Incompatible namespaceIDs 导致datanode启动不了。 no datanode to stop 原

2016-09-29 21:06:26 1162

原创 hadoop源码编译

hadoop源码编译第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的编译问题，但第一次之后的编译则不用再下载了。 1. 安装依赖1) JDK 2) Maven 3.0或更新版本3) ProtocolBuffer 2.5.04) CMake 2.6或更新版本5) Findbugs 1.3.9，

2016-09-29 21:01:23 499

原创 hadoop迁移namenode

hadoop迁移namenode1、问题问题：由于之前安装namenode的机器系统不太稳定，把其中一台datanode1机器与namenode节点交换身份。Datanode1做namenode，namenode做datanode1. 原理：Hadoop集群中，无论是那台机器做Namenode，只要配置指向该节点，且该节点文件路径与原Namenode一致，则其他Datanode节点

2016-09-29 20:57:52 1280

原创 hadoop添加节点

hadoop添加节点（添加datanode4）1、配置主机名2、修改各服务器hosts，添加新机器的主机名3、配置新机器ssh无密钥登录。4、从其他机器拷贝hadoop安装文件5、修改namenode的配置文件slaves ，添加新增节点的host6、在新节点的机器上，启动服务[hadoop@datanode4~]#hadoop-daemon.sh st

2016-09-29 20:52:19 479

原创 hadoop上eclipse开发环境搭建

hadoop上eclipse开发环境搭建1、下载安装eclipse并创建桌面快捷方式2、ant环境配置 apache-ant-1.9.4-bin.zip解压到/usr/local/目录下，配置环境变量ANT_HOME,并将bin目录配置到path下载地址：http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant

2016-09-29 20:48:18 445

原创 CentOS上搭建hadoop集群

Centos6.5上安装hadoop2.5.2一、环境四台服务器，一台做主节点namenode，三台从节点datanode1，datanode2，datanode3二、安装centos6.5（在四台机器做同样的操作）1、配置固定ip2、配置主机名vi/etc/sysconfig/network （分别为namenode，datanode1，datanode2，data

2016-09-29 20:21:23 437

虾米的博客