hadoop环境搭建（1）

要搭建hadoop，首先要要有一台linux的机器，可以是虚拟机，服务器…
有了Linux环境，接着就可已安装相应的hadoop环境了;
说一下我自己的环境：
ubuntu18.0.4(虚拟机）
jdk14
hadoop2.10
下面的命令，如果不是root用户，请自觉加上sudo

1. 更新应用

执行命令：

sudo apt-get install update
sudo apt-get install upgrade

因为ubuntu会从国外下载，可能速度会很慢，忍受不了的，可以更换镜像源。
编辑etc/apt/sources.list文件, 在文件最前面添加以下条目(操作前最好备份)：

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

这里用的是阿里的镜像源，如果是用的virtual box，可能还需要打开双向复制，首先右ctrl+c ，这样左上角可以看到下图（当然，本身就可以看到的，就不用操作）

进入设备---->共享粘贴板---->双向
也可以“安装增强功能”方便与虚拟机进行文件传输。

2. 配置java环境

1.首先官网下载jdk14,下载之后应该是一个.tat.gz的文件，在/etc/local下建立一个java文件夹，之后cp 所下载的文件名 /etc/local/java.然后进行解压,tar -zxvf jdk14.0.1.tar.gz。
2.配置环境变量，编辑/etc/profile文件，在末尾加上。

```
JAVA_HOME=/usr/local/java/jdk-14.0.1
PATH=.:$JAVA_HOME/bin:$PATH
export JAVA_HOME
```

然后执行命令source /etc/profile
之后可以运行命令，java -version，会出现相应的版本提示，其实，ubuntu自带了一个jdk版本，是openjdk，属于一个开源版本，如果使用它，那上面的环境变量就需要把JAVA_HOME改为/usr/lib/jvm/java-11-openjdk-amd64这样的目录，具体是什么，自己根据自己的电脑来。
如果不使用openjdk,可以删除,apt-get remove openjdk如果不想删就得需要进行一定配置：(自己没有实验，这是借鉴别人的做法)
系统中存在多个版本的JDK，使用下列命令设置一个默认的JDK

```
sudo update-alternatives --config java
sudo update-alternatives --config javac
```

输入选择的java版本的编号。
推荐一篇讲update-alternatives命令的文章

3. SSH配置

   1.安装ssh，apt-get install openssh-server,关于ssh，可以看这篇文章
   2.配置ssh, ssh localhost
   3.设置为无密码登陆，

    cd ~/.ssh/
    ssh-keygen -t rsa  #出现提示直接按enter
   

   4.cat ./id_rsa.pub >> ./authorized_keys 加入授权
   之后，再次ssh localhost的时候就可以无密码登陆了。

4. hadoop环境

   1.下载hadoop，这里需要下载
   
   这种的。下载之后复制到/usr/local中，之后解压，把解压后的文件夹名字改为hadoop,这样比较方便。最后，给这个文件夹赋予用户权限sudo chown -R dong ./hadoop.
   2.之后还是修改环境变量，编辑/etc/profile ，在原有的基础上改为这种样子 ：

#set Java environment
JAVA_HOME=/usr/local/java/jdk-14.0.1
HADOOP_HOME=/usr/local/hadoop
PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME
export HADOOP_HOME

之后还是source /etc/profile执行，之后输入hadoop version就可以显示出hadoop的版本信息。