剧接上集:大数据与数据库实验-VMware虚拟机安装Ubuntu20.04详细图文教程(一)-CSDN博客
大数据与数据库实验-finalshell连接主机和utubu(二)-CSDN博客
一 安装anaconda
打开utubu终端(可以用ctrl+alt+T),执行命令: wget repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh(repo前不要加https)
下载完后,执行命令 bash Anaconda3-2022.05-Linux-x86_64.sh
按回车键,然后不停按空格键,直到出现以下显示
输入yes,按回车,出现以下画面
直接回车,等待安装,直到出现以下画面
输入yes,回车,即可安装成功anaconda,关掉当前命令行窗口,打开新的命令行窗口,就可使用所有Python相关的库了。
二 安装hadoop
1 创建hadoop用户
如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。
首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :
sudo useradd -m hadoop -s /bin/bash
接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:
sudo passwd hadoop
可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
sudo adduser hadoop sudo
此时可以通过su命令来切换用户
su hadoop
2 更新apt、vim
用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口,执行如下命令:
sudo apt-get update
后续需要更改一些配置文件,我们推荐使用的是 vim(vi增强版,基本用法相同),必须安装一下,因为后面会用到:
sudo apt-get install vim
3 安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server
安装后,可以使用如下命令登陆本机:
ssh localhost
此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:(电源切换到hadoop用户)
1. exit # 退出刚才的 ssh localhost
2. cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
3. ssh-keygen -t rsa # 会有提示,都按回车就可以
4. cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图所示。
会有提示,一直按回车就可以
4 安装Java环境
Hadoop3.1.3需要JDK版本在1.8及以上。需要按照下面步骤来自己手动安装JDK1.8。下载地址:https://www.oracle.com/cn/java/technologies/downloads/。安装包jdk-8u371-linux-x64.tar.gz
我们要做的是用finalshell把JDK1.8放到Utubu中。
登录上我的可爱账户BIGGUN。#没有登录hadoop,不知道会不会有坑。
finalshell连接上虚拟机,一切正常。finalshell下面有文件 命令
点击右上角上传,选择下图下载到windows里的jdk压缩包
在主机的finalshell里上传jdk文件,传好后在ubutu的主目录的local中看到了jdk压缩包。
修改下权限(别的文章里看到的,不知道有没有用,修改下好了)
可以在Ubuntu里看到jdk了,右键jdk压缩包,提取到此处。就不用命令一顿瞎操作了。
cd /home/biggun/local/jdk-8u162-linux-x64/jdk1.8.0_162
pwd #查看安装路径,本文为/home/biggun/local/jdk-8u162-linux-x64/jdk1.8.0_162
(上面这个步骤就是看下路径,也可以不做,一定要知道路径在哪里)
开始设置环境变量
sudo vim ~/.bashrc
输入密码后进入以下界面
按E 进入下一个界面,需要插入以下(找个空地儿粘贴进去):
export JAVA_HOME=/home/biggun/local/jdk-8u162-linux-x64/jdk1.8.0_162 #这是我的路径,你要添加自己的路径。
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
作者在widows里先把这串文件复制到txt里,然后用finalshell传到ubuntu中,在ubuntu中直接复制。这里要注意的是路径/home/biggun/local/jdk-8u162-linux-x64/jdk1.8.0_162,就是Java解压后的文件夹,点进去能看到里面的内容。另外要注意的是找个空行复制上述代码,作者从第一行复制,发生下图的问题
这里有个#号,会把同一行前面的也默认为解释,无法发挥效能。
粘贴成这样,按Esc键,输入 :wq! 保存并退出。
先输入:source ~/.bashrc #让配置立即生效
再输入java -version,返回如下信息则表示安装成功。
胜利万岁!!!