Docker安装Hadoop分布式集群,及其知识点总结，(记录心酸)

参考林子雨:林子雨docker安装hadoop

                     普通安装hadoop

Docker安装Hadoop（注意事项）

1:自带docker

2:镜像带ubuntu

3:配置SSH:  apt-get install ssh
            /etc/init.d/ssh start         //启动ssh
            vim ~/.bashrc 添加 /etc/init.d/ssh start       //设置打开，自动启动
            ssh-keygen -t rsa     //生成密钥
            cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   //公钥添加授权文件
            此时可是 ssh localhost (因为所有容器都是从这个镜像run出来的，所以可以互相ssh)
4:安装JDK  (注意一定是 java 8 ，其他版本不可以，血的教训)
 apt-get install openjdk-8-jdk
                             //which java
                             //echo $JAVA_HOME
    vim ~/.bashrc
        export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
        export PATH=$PATH:$JAVA_HOME/bin

  source ~/.bashrc


5:安装hadoop 版本一定是 2.7.1，（血的教训） 

 tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local //将安装包解压到此目录
  
  /user/loadl/hadoop-2.7.1                   //安装后的完整路径
                                             //配置文件一定仔细看清楚
  /usr/local/hadoop-2.7.1/  etc/hadoop/core-site.xm 再次目录下面

6:搭建集群，  
bin/hdfs namenode -format
sbin/start-all.sh
jps     //master(NameNode) 必须出现四个信息，才算正确 DataNode出现三个

Docker知识点

-it:      //  -i 交互式进入， -t分配ttl
-d        //后台运行

docker 两种状态: 服务类容器(一直运行)       工具类容器(用其命令即可)


 run -it  //以一种临时的工作环境     //stop 退出，数据会跟着消失
 exec -it //进入某个容器            
                                

Haddop知识点

//此时所在目录  /usr/local/hadoop-2.7.1

./bin/hdfs dfs -ls  /   /* 根目录显示: /user/hadoop/input  //自己创建
                                           /root/output   
                                     /tmp                           */
                                                              
./bin/hdfs dfs -ls  ./   //   当前显示:           output     


ls                          //  显示没有root

//其他集群共用这个hdfs