2021-01-15 hadoop HDFS 准备工作-docker 建立环境

hadoop HDFS 

原理

架构模式为 master/slave 
HDFS/Yarn/HBase

master --> NameNode  --> namespace
slave  --> DataNode  --> block 默认 128M 默认3个备份

docker hadoop 分布式搭建环境
https://blog.csdn.net/k393393/article/details/91410409

查找一个，个人的镜像，有条件的话可以自己搭建，用docker 其实就是不想本地安装虚拟机，个人学习使用，貌似镜像也挺大的

1. 拉取镜像
docker pull centos

2. 查看镜像
docker images

3. 创建master 节点
-h 为容器设置主机名
-name 设备容器名称
-d 在后台运行

docker run -d -p 5001:22 --name java_base_os --privileged=true java_os/centos7-ssh:latest /usr/sbin/init

docker run --name hadoop_master -d -h hadoop_master centos:latest
docker run --name hadoop_slave1 -d -h hadoop_slave1 centos:latest
docker run --name hadoop_slave2 -d -h hadoop_slave2 centos:latest

4.
docker ps -a

5.
docker exec -it hadoop_master bash
yum install -y openssh-server vim lrzsz wget gcc-c++ pcre pcre-devel zlib zlib-devel ruby openssl openssl-devel patch bash-completion zlib.i686 libstdc++.i686 lsof unzip zip

 
yum install initscripts 

docker run -itd --name networkTest1 --net mynetwork --ip 172.18.0.2 centos:latest /bin/bash
docker run -d -p 5001:22 --name java_base --privileged=true  --net mynetwork --ip 172.18.0.2 java_os/centos7-ssh:latest /bin/bash

--link java_base

以 ip 相互访问
以 link 相互访问
以 bridge 相互访问