JAVA与Hadoop安装(ubuntu)这里写自定义目录标题
自己在ubuntu虚拟机里安装Java和Hadoop,踩过一些坑,现在较顺利的走通了整个流程,记录一下安装过程。
没有中间过程截图,有机会补上。
一、在环境中安装JDK
- 安装JRE
sudo apt-get install default-jre
或者
sudo apt-get install default-jre -y #-y表示指令运行后的判断均选择yes
以上指令安装的是最新版本的jre
执行java -version
查看是否安装成功。(有版本信息即为安装成功)
- 安装JDK
sudo apt-get install default-jdk
或者
sudo apt-get install default-jdk -y #-y表示指令运行后的判断均选择yes
以上指令安装的是最新版本的jdk
执行java -version
查看是否安装成功。(有版本信息即为安装成功)
- 修改环境变量
输入一下代码编辑环境变量vim ~/.profile
添加如下环境变量
JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"
export PATH="$JAVA_HOME/bin:$PATH"
然后执行source ~/.profile
使环境变量生效
- 验证配置是否成功
输入echo $JAVA_HOME
查看输出的路=路径是否为设置的JAVA_HOME
二、 安装Hadoop
- 创建Hadoop用户
使用如下命令创建:
sudo useradd -m hadoop -s /bin/bash
为hadoop用户创建密码:
sudo passwd hadoop
为hadoop用户增加管理员权限:
sudo adduser hadoop sudo
使用如下指令切换为hadoop用户:
su - hadoop
更新apt-getsudo apt-get update
- 安装SSH,配置SSH无密码登陆
Ubuntu 操作系统下默认已安装了 SSH 客户端,因此这里我们只需安装 SSH 服务端:
sudo apt-get install openssh-server
使用如下命令登陆本机:
ssh localhost
输入 yes 与用户密码,就可以登录到本机。
使用exit
退出SSH登陆
使用ssh localhost
生成.ssh文件
使用cd ~/.ssh/
转到.ssh目录
使用ssh-keygen -t rsa
生成密钥
查看生成的公钥cat id_rsa.pub
加入权限cat id_rsa.pub >> authorized_keys
修改文件权限chmod 600 authorized_keys
,如果不修改文件权限,那么其它用户就能查看该授权
再使用ssh localhost
,即可免密登陆。
使用exit
退出。
三、 安装Hadoop
- 下载hadoop
地址:Hadoop
执行如下命令解压:
sudo tar -zxf ~/Downloads/hadoop-3.3.5.tar.gz -C /usr/local
修改目录名称:
cd /usr/local
sudo mv ./hadoop-3.3.5/ ./hadoop
给予可执行权限:
sudo chown -R hadoop ./hadoop
进入 hadoop 文件夹,查看安装的 Hadoop 版本信息:
cd ./hadoop
./bin/hadoop version
最后一步若出现Java路径找不到,但在Hadoop用户下输入java -version
有输出信息,则是因为未在Hadoop用户下的~/.profile文件中设置JAVA_HOME的环境变量。
- 运行示例
首先在 Hadoop 安装目录下新建 input 子目录:
cd /usr/local/hadoop
sudo mkdir input
复制 “/usr/local/hadoop/etc/hadoop” 中的配置文件到 input 目录下:
sudo cp ./etc/hadoop/*.xml ./input
切换到 root 用户su
执行以下代码运行 Grep 示例:
./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep ./input ./output 'dfs[a-z.]+'
输入cat ./output/*
查看结果:
成功!!!
参考:
*[1]:https://blog.csdn.net/weixin_46584887/article/details/120411214
*[2]:https://zhuanlan.zhihu.com/p/112275959