【无标题】

JAVA与Hadoop安装(ubuntu)这里写自定义目录标题

自己在ubuntu虚拟机里安装Java和Hadoop,踩过一些坑,现在较顺利的走通了整个流程,记录一下安装过程。
没有中间过程截图,有机会补上。

一、在环境中安装JDK

  1. 安装JRE
sudo apt-get install default-jre

或者

sudo apt-get install default-jre -y #-y表示指令运行后的判断均选择yes

以上指令安装的是最新版本的jre
执行java -version 查看是否安装成功。(有版本信息即为安装成功)

  1. 安装JDK
sudo apt-get install default-jdk

或者

sudo apt-get install default-jdk -y #-y表示指令运行后的判断均选择yes

以上指令安装的是最新版本的jdk
执行java -version 查看是否安装成功。(有版本信息即为安装成功)

  1. 修改环境变量
    输入一下代码编辑环境变量vim ~/.profile
    添加如下环境变量
JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"
export PATH="$JAVA_HOME/bin:$PATH"

然后执行source ~/.profile使环境变量生效

  1. 验证配置是否成功
    输入echo $JAVA_HOME查看输出的路=路径是否为设置的JAVA_HOME

二、 安装Hadoop

  1. 创建Hadoop用户
    使用如下命令创建:
 sudo useradd -m hadoop -s /bin/bash

为hadoop用户创建密码:

sudo passwd hadoop

为hadoop用户增加管理员权限:

sudo adduser hadoop sudo

使用如下指令切换为hadoop用户:

su - hadoop

更新apt-getsudo apt-get update

  1. 安装SSH,配置SSH无密码登陆
    Ubuntu 操作系统下默认已安装了 SSH 客户端,因此这里我们只需安装 SSH 服务端:
sudo apt-get install openssh-server

使用如下命令登陆本机:

ssh localhost

输入 yes 与用户密码,就可以登录到本机。
使用exit退出SSH登陆
使用ssh localhost生成.ssh文件
使用cd ~/.ssh/转到.ssh目录
使用ssh-keygen -t rsa生成密钥
查看生成的公钥cat id_rsa.pub
加入权限cat id_rsa.pub >> authorized_keys
修改文件权限chmod 600 authorized_keys,如果不修改文件权限,那么其它用户就能查看该授权
再使用ssh localhost,即可免密登陆。
使用exit退出。

三、 安装Hadoop

  1. 下载hadoop
    地址:Hadoop
    执行如下命令解压:
sudo tar -zxf ~/Downloads/hadoop-3.3.5.tar.gz -C /usr/local

修改目录名称:

cd /usr/local
sudo mv  ./hadoop-3.3.5/ ./hadoop

给予可执行权限:

sudo chown -R hadoop ./hadoop

进入 hadoop 文件夹,查看安装的 Hadoop 版本信息:

cd ./hadoop
./bin/hadoop version

最后一步若出现Java路径找不到,但在Hadoop用户下输入java -version有输出信息,则是因为未在Hadoop用户下的~/.profile文件中设置JAVA_HOME的环境变量。

  1. 运行示例
    首先在 Hadoop 安装目录下新建 input 子目录:
cd /usr/local/hadoop
sudo mkdir input

复制 “/usr/local/hadoop/etc/hadoop” 中的配置文件到 input 目录下:

sudo cp ./etc/hadoop/*.xml ./input

切换到 root 用户su
执行以下代码运行 Grep 示例:

./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep ./input ./output 'dfs[a-z.]+'

输入cat ./output/*查看结果:
在这里插入图片描述

成功!!!

参考:
*[1]:https://blog.csdn.net/weixin_46584887/article/details/120411214

*[2]:https://zhuanlan.zhihu.com/p/112275959

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值