大数据学习指北（二）—— Hadoop环境配置

二、Hadoop环境搭建

在阿里云服务器 ECS 上搭建 hadoop 的开发环境。
参考了林子雨老师的博客，推荐学习大数据的朋友可以看看，老师写的真好–>林子雨老师博客

1. 建立用户

1.1 hoopp

1. 创建一个hp用户，用来学习 Hadoop

   # 建立用户
   sudo useradd -m hp -s /bin/bash
   # 建立密码
   sudo passwd hp
   # 增加权限
   sudo adduser hp sudo
   # 切换用户
   su hp
   # 更新软件目录
   sudo apt-get update
   

2. 集群、单节点模式都需要 SSH 登录，配置 SSH 免密登录更加方便

   # 安装 SSH server
   sudo apt-get install openssh-server
   # 通过SSH登录本机，首次需要输入 yes
   ssh localhost
   # 退出刚才的 ssh localhost
   exit 
   # 进入.ssh 文件夹
   cd ~/.ssh/       
   # 会有提示，填写文件名需要修改 config，其余都按回车就可以
   ssh-keygen -t rsa        
   # 加入授权
   cat ./id_rsa.pub >> ./authorized_keys 
   # 由于 SSH 默认只会读取 id_rsa 这个私钥，所以我们需要为Hadoop_ssh私钥修改 config 配置
   ######################################
   					# 没改名字就不用 #
   ######################################
   vim config
   # 输入下列代码
   Host hp
       HostName mark3
       Port 22
       User hp
       IdentityFile  ~/.ssh/hadoop_ssh
       IdentitiesOnly yes
   # 测试
   ssh hp
   

3. SSH 配置文件补充

   参考资料

   SSH 程序将从下面两个地方获取配置参数

   用户配置文件 (~/.ssh/config)
   系统配置文件 (/etc/ssh/ssh_config)

   Host	别名
   HostName	主机名
   Port	端口
   User	用户名
   IdentityFile	密钥文件的路径
   IdentitiesOnly	只接受SSH key 登录
   PreferredAuthentications	强制使用Public Key验证

2. Java

2.1 JDK1.8

2.2.1 手动安装

1. 下载 Java 安装包jdk-8u162-linux-x64.tar.gz，点击这里下载

   # 创建/usr/lib/jvm目录用来存放JDK文件
   cd /usr/lib
   sudo mkdir jvm 
   # 进入安装包所在目录
   cd ~/Downloads 
   # 把JDK文件解压到/usr/lib/jvm目录下
   sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  
   

2. 设置环境变量

   # 编辑 bashrc 配置
   vim ~/.bashrc
   # 在文件开头添加下列四行
   export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
   export JRE_HOME=${JAVA_HOME}/jre
   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
   export PATH=${JAVA_HOME}/bin:$PATH
   # 更新 bashrc 配置
   source ~/.bashrc
   # 测试 v9vapBWH8a_TGdsp
   java -version
   # 成功显示
   java version "1.8.0_162"
   

2.1.2 自动安装

sudo apt update
sudo apt install openjdk-8-jdk

2.2 JDK11

1. 安装 openjdk

   # 更新软件包索引
   sudo apt update
   # 18.04系统默认为 jdk11
   sudo apt install default-jdk
   # 测试
   java -version
   

2.3 设置 Java 版本

# * 标识的即为默认版本，使用 enter 键选择
sudo update-alternatives --config java

2.4 JAVA_HOME 环境变量

应用程序需要通过JAVA_HOME环境变量来确定 Java 的安装位置。

1. 找出 Java 安装路径

   sudo update-alternatives --config java
   

2. 添加 Java 安装路径

   # 编辑配置文件（environment将对所有用户生效）
   sudo vim /etc/environment
   # 编辑配置文件（对当前用户生效）
   sudo vim ~/.bashrc
   
   # 上列配置文件二选一即可，在末尾添加
   JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"
   
   # 更新配置文件
   source /etc/environment
   
   # 测试
   echo $JAVA_HOME
   

2.5 卸载 jdk

sudo apt remove openjdk-11*

3. vscode

目前的想法是在服务器上通过 vscode 来编写代码。至于为什么不用由于 IDEA，当然是因为内存太小= =

3.1 安装 vscode

1. 在官网下载安装包

2. 安装 vscode

   cd ~/Downl