docker 安装hadoop

一、Docker安装

 Ubuntu 下安装 Docker 需在管理员的账号下操作。

wget -qO- https://get.docker.com/ | sh

启动 Docker 服务。

sudo service docker start

* docker cp 本地文件路径 容器ID/容器NAME:容器内路径  

二、ubuntu 安装

sudo docker pull ubuntu:16.04

启动一个容器

sudo docker run -it ubuntu:16.04 /bin/bash

 三、更新apt镜像源

# 备份
mv /etc/apt/sources.list /etc/apt/sources.list.back

# 先删除旧源文件
rm /etc/apt/sources.list

# 添加新镜像
echo "deb http://mirrors.aliyun.com/ubuntu/ xenial main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main
deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main
deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe" >> /etc/apt/sources.list

# 更新镜像
apt update  

 apt-get install -y vim

 apt install sudo

创建hadoop用户

sudo useradd -m hadoop -s /bin/bash  
#创建hadoop用户，并使用/bin/bash作为shell

sudo passwd hadoop                   
#为hadoop用户设置密码，之后需要连续输入两次密码

sudo adduser hadoop sudo             
#为hadoop用户增加管理员权限

su - hadoop                          
#切换当前用户为用户hadoop

sudo apt-get update                  
#更新hadoop用户的apt,方便后面的安装

四、安装 SSH配置免密

 // 安装 SSH服务端
​apt-get install openssh-server
// 安装 SSH 的客户端
​apt-get install openssh-client

配秘钥 

生成密钥存放在用户根目录.ssh 文件夹中
​ssh-keygen -t rsa -P ""

将公钥追加到 authorized_keys 文件中
​cat .ssh/id_rsa.pub >> .ssh/authorized_keys
启动 SSH 服务
​service ssh start
免密登录自己
​ssh 127.0.0.1
修改 .bashrc 文件，启动 shell 的时候，自动启动 SSH 服务
​vim ~/.bashrc
添加一行
​service ssh start

五、tar解压命令

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local/

 参数

-f: 置顶文件名, 后面不能再跟其他选项字母了,必须是文件名, 但是再在这个后面又可以跟 -? 选项:

-C: 指定解压到的目的目录
不是-c, 小写的-c是创建.

-p保留原来文件的属性.

tar总是解压到当前文件, 会去除文件名最前面的/, 就是为了防止 解压出来的文件覆盖了同名字的系统文件...

所以, 要解压到指定目录, 方法有两个:

先切换到你要解压的目的地址目录, 然后再用tar名

直接使用-C 选项来指定解压到的 目录

**注意: tar命令本身并不会调用mkdir命令去创建目录, 所以, 要指定 "非当前解压目录"时, 要事先创建好目录.

六、安装weget

weget的安装， yum安装或者通过apt

centos

yum install wget -y

 ubuntu

apt install -y wget
或者
apt-get install -y wget

ps：apt  和 apt-get 区别

1. 前者是通过本地安装，后者是通过网络获取安装包安装。
2. apt-get是老版的命令，apt是新版的命令，apt包含apt-get cache等，后期apt-get可能就要被替换。

七、参考

1. ubuntu 更新报错 - 简书 (jianshu.com)
2. OpenJDK1.8 安装及配置（Ubuntu16.04）
3. Docker容器通过配置Dockerfile集成Vim
4. ssh: connect to host localhost port 22: Connection refused
5. docker 安装hadoop