Ubuntu 14.04 搭建CDH5*笔记

Ubuntu 搭建CDH5*的方法：

第一步：机器配置

三台机器的ip和hostname为

• 192.168.10.236 hadoop-1
• 192.168.10.237 hadoop-2
• 192.168.10.238 hadoop-3

我们将hadoop-1作为主节点

第二步：配置三台机器的hosts文件

• vim /etc/hosts
• 192.168.10.236 hadoop-1
• 192.168.10.237 hadoop-2
• 192.168.10.238 hadoop-3

第三步：配置主节点root免密码登录到其他节点（不需要从节点到主节点）

3.1 在hadoop-1上执行ssh-keygen-t rsa -P ''生成无密码密钥对

3.2 将公钥添加到认证文件中：cat/root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

3.3 将认证文件拷贝到hadoop-2和hadoop-3的/root/.ssh/目录下，使主节点免密码访问从节点

第四步：设置root登陆密码（后面安装的时候可以用这个方式或者上传第三步生成的id_rsa私钥）

Sudo root passwd

（所以第四步可以省略）

第5步：修改ssh的配置文件：

Vim /etc/ssh/sshd_config

PermitRootLogin yes

StrictModes no

第6步重启ssh（前提是要安装ssh）

/etc/init.d/ssh restart

第七步：关闭防火墙

Sudo ufw disable

下面开始安装CM（注意，这里我们是安装cloudera manger（包括server和agent），安装好CM之后，然后通过web安装CDH，也就是cloudera hadoop的群集安装）

方式一：在线安装：（网络要好，下载很慢）

（在线0）：这里采用cloudera-manager-installer.bin安装

（第二种使用第二种使用rpm、yum、apt-get方式在线安装，

第三种使用是Tarballs的方式。没有尝试）

1.  $ wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2.  $ chmod u+x cloudera-manager-installer.bin

3.  $ sudo ./cloudera-manager-installer.bin

4.      根据提示一步步默认，next，yes即可，安装完成后，根据提示打开web-ui，输入htpp://ip:7180进行安装agent节点

方式二：离线安装

1.   安装oracle-j2sdk1.7版本(主从都要,根据CDH版本选择对应的jdk)

$ apt-get install oracle-j2sdk1.7

$ update-alternatives --install /usr/bin/java java/usr/lib/jvm/java-7-oracle-cloudera/bin/java 300

$ update-alternatives --install /usr/bin/javac javac/usr/lib/jvm/java-7-oracle-cloudera/bin/javac 300

如果提示can not locate oracle-j2sdk1.7

解决方法：软件源里没有改软件包，所以需要更新该软件源；

sudo gedit /etc/apt/sources.list

将jdk的url增加进去（具体操作也可以上网搜）

然 sudo apt-get update再次尝试安装

2.   配置jdk环境vim /etc/profile

1.     在末尾添加

export JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera

export JRE_HOME=${JAVA_HOME}/jre 

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=$PATH:${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

1.      source /etc/profile  使jdk配置生效

3. 安装MariaDB-5.5(兼容性请查看官方文档，具体可参照ubuntu14.04 安装MariaDB10.0