最全图文教你怎么搭建分布式hadoop+zkp+hbase+mysql+hive+sqoop

转载需说明出处！！！

                               分布式集群安装

所用版本：

 

hive/lib 下放的mysql是5.1.29版本

sqoop/lib 下放的mysql也是5.1.29版本

hadoop:2.6.0

zookeeper:3.4.5

hbase :0.96.2

mysql:5.1.73

删除原有的mysql 再进行安装新的mysql

安装在 /usr/bin/mysql_secure_installation

hive:0.13.0

sqoop:1.4.4

 

 

 

 

 

 先开始配置 ssh

Ssh无密码登录

如果进不去就先输入 ssh localhost

首先关闭防火墙，必须得两个一起关闭

centOS 6.5关闭防火墙步骤

关闭命令（暂时）：  service iptables stop 
        永久关闭防火墙：chkconfig iptables off

两个命令同时运行，运行完成后查看防火墙关闭状态 
        service iptables status

1. 检测ssh是否安装

Rpm -qa | grep ssh

若没安装 执行ssh命令：yum install openssh-clients

Yum install openssh-service

 

2. 创建一个hadoop的用户

useradd -m hadoop -s  /bin/bash

（红色的表示是进入用户的界面

黑色的表示进入root的界面）

 

3. 配置SSH无密码登录

   Ssh localhost

3.1： cd  ~/.ssh/  

（如果没有这个目录。先执行ssh localhost，再执行cd  ~/.ssh/）

3.2：ssh-keygen -t dsa  (创建)

3.3：cat id_dsa.pub >> authorized_keys   加入授权

3.4：chmod 700 ./ authorized_keys 修改权限

(方式一：ssh-copy-id 机器2的IP（根据版本不同来使用）

方式二：ssh-copy-id -i ~/.ssh/id_dsa.pub 机器2的IP(centOS 6.5必须用这种)

 

3.5：vi /etc/ssh/sshd_config   取消三个变量的注释

3.6：重启sshd服务 service sshd restart

 

红色字体是hadoop用户下操作

黑色字体是root操作

   3.7：ssh localhost  没有提示输入密码就是成功

 

安装java环境变量：(三台都安装)

一般centos默认安装java。默认安装JRE 不是JDK

第一步：

yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

默认安装目录：/usr/lib/jvm/java-1.7.0-openjdk

执行：rpm -ql java-1.7.0-openjdk-devel | grep /bin/javac

Java -version 命令查看JDK是否安装成功

 

保证java和javac命令全局都能使用：

vi /etc/profile （在x-shell中查看 这样可以粘贴）

在profile最后面加入以下语句，设置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

（以上三行 直接粘贴复制）

Source /etc/profile  修改的Javahome变量生效

Echo $JAVA_HOME （显示安装路径就证明成功了）

 

hadoop单机模式安装(三台都安装)

1. 通过工具把hadoop安装包和mds文件发送到服务器。

2.

3. 在Xshell(先下载 lrzsz 这个拉文件所需的工具) 中先切换到 

root   /home/hadoop目录下 再把两个直接拉进hadoop下

输入：cat hadoop-2.6.0.tar.gz.mds | grep 'MD5'

     md5sum hadoop-2.6.0.tar.gz | tr "A-Z" "a-z"