数据仓库环境部署

一、Docker安装

Docker是一个轻量级容器，一般是不会在上面安装Hadoop这样重量级的系统的，但是学习要求这么装，就试试了，一般可以在Docker上装tomcat，在此推荐一个网址供参考：Docker 安装 Tomcat

1.1 Centos Docker安装

# 镜像比较大, 需要准备一个网络稳定的环境
# 其中--mirror Aliyun代表使用阿里源
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

1.2 Ubuntu Docker安装【推荐】

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

安装详情可参考ubuntu环境下docker的安装与操作

1.3 MacOs Docker安装

# 下载安装包, 拖动安装即可
https://hub.docker.com/editions/community/docker-ce-desktop-mac/

1.4 Windows Docker安装【不推荐】

# win10家庭版 【参考】
https://docs.docker.com/docker-for-windows/install-windows-home/

# win10专业版、商业版或教育版 【参考】
https://docs.docker.com/docker-for-windows/install/

二、容器准备

2.1 拉取镜像

docker pull centos:7

#拓展
# 删除镜像
docker rmi centos:7

# 查看镜像
docker images

2.2 启动并创建容器

docker run -itd --privileged --name singleNode -h singleNode \
-p 2222:22 \
-p 3306:3306 \
-p 50070:50070 \
-p 8088:8088 \
-p 8080:8080 \
-p 10000:10000 \
-p 60010:60010 \
-p 9092:9092 \
centos:7 /usr/sbin/init

#注释
run：通过一个镜像运行一个容器
-i：提供一个终端，一般和t或者d连用
--privileged：设置权限，如果不设置，在容器当中启动服务时会报错
--name：给容器起名
-h：容器的主机名
-p：端口映射  宿主机端口：容器端口
centos：7：代表镜像名称
/usr/sbin/init:he --privileged参数连用的

# 拓展：
# 关闭容器
docker stop singleNode

# 启动容器
docker start singleNode

# 查看容器
docker ps -a
# -a: 查看所有的容器, 包括没有运行的容器

# 删除容器
docker rm singleNode

# 进入容器
docker exec -it singleNode /bin/bash

# 拷贝文件
docker cp 原路径 容器名称:目标路径

2.3 进入容器

docker exec -it singleNode /bin/bash

三、环境准备

3.1 安装必要软件

yum clean all
yum -y install unzip bzip2-devel vim bashname

3.2 配置SSH免密登录

#修改root用户密码
passwd root  #输入两次密码
yum install -y openssh openssh-server openssh-clients openssl openssl-devel 
ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 启动SSH服务
systemctl start sshd

3.3 设置时区

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.4 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

四、MySQL安装

4.1 上传解压安装包

# 新建存放安装包的目录
mkdir -p /opt/software/
# 新建安装目录
mkdir /opt/install/

cd /opt/software/
tar xvf MySQL-5.5.40-1.linux2.6.x86_64.rpm-bundle.tar -C /opt/install

4.2 安装必要依赖

cd /opt/install
yum -y install libaio perl

4.3 安装服务端和客户端

rpm -ivh MySQL-server-5.5.40-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-client-5.5.40-1.linux2.6.x86_64.rpm 

4.4 启动并配置MySQL

systemctl start mysql
/usr/bin/mysqladmin -u root password 'ok'
mysql -uroot -pok
> update mysql.user set host='%' where host='localhost';
> delete from mysql.user where host<>'%' or user='';
> flush privileges;

五、安装JDK

5.1 上传并解压

cd /opt/software
tar zxvf /opt/software/jdk-8u171-linux-x64.tar.gz -C /opt/install/
ln -s /opt/install/jdk1.8.0_171 /opt/install/java

5.2 配置环境变量

vi /etc/profile
-------------------------------------------
export JAVA_HOME=/opt/install/java
export PATH=$JAVA_HOME/bin:$PATH
-------------------------------------------
source /etc/profile

5.3 查看版本

java -version

六、Hadoop安装

6.1 上传并解压

tar zxvf /opt/software/hadoop-2.6.0-cdh5.14.2.tar_2.gz -C /opt/install/
ln -s /opt/install/hadoop-2.6.0-cdh5.14.2 /opt/install/hadoop

6.2 修改配置

# 进入路径
cd /opt/install/hadoop/etc/hadoop/

6.2.1 配置core-site.xml

vi core-site.xml
-------------------------------------------
<configuration>
  <property>
    <n