Linux系统（Ubantukylin）配置Java环境与Hadoop环境

最新推荐文章于 2023-09-22 20:03:13 发布

置顶 Dryhten

最新推荐文章于 2023-09-22 20:03:13 发布

阅读量754

点赞数

分类专栏：笔记文章标签： linux java ubuntu 大数据

本文链接：https://blog.csdn.net/Dryhten/article/details/115017299

版权

笔记专栏收录该内容

15 篇文章 0 订阅

订阅专栏

该教程参考了网络教程(原教程网址放在了文章末尾)并进行了改编，匹配了相应的软件下载链接与对应系统的命令，用于ubuntukylin-16.04-desktop-amd64.iso镜像的虚拟机，讲述了如何配置java环境与hadoop环境。

本教程所有代码说明都写在代码下方，并没有写操作错误会产生的问题，可以肯定的是根据教程的操作一步步来，基本不会出错，建议仔细检查自己的操作，特别是bash代码的输入，另外建议用粘贴板，双向粘贴板以及双向拖拽的教程地址如下https://blog.csdn.net/Dryhten/article/details/115049664

首先进行基础系统环境配置

**
Ctrl+Alt+T或者右键打开终端，输入命令。

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。

sudo passwd hadoop

为hadoop账户设置密码，输入两次密码。

sudo adduser hadoop sudo

将hadoop账户加入超级权限用户组。

最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。

更新apt

**
用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：

sudo apt-get update

若出现 “Hash校验和不符” 的提示，可通过更改软件源来解决。(更改软件源的教程请自行百度)若没有该问题，则不需要更改。从软件源下载某些软件的过程中，可能由于网络方面的原因出现没法下载的情况，那么建议更改软件源。在学习Hadoop过程中，即使出现“Hash校验和不符”的提示，也不会影响Hadoop的安装。
更改软件源的操作可以查看以下链接：https://blog.csdn.net/Dryhten/article/details/115105958
**

安装VIM

sudo apt-get install vim

安装软件时若需要确认，在提示处输入 y 即可。

安装SSH、配置SSH无密码登陆

sudo apt-get install openssh-server

安装SSH服务

ssh localhost

登录本机
SSH首次登录提示，输入yes，然后按提示输入密码 hadoop，这样就登陆到本机了。

exit
cd ~/.ssh/
ssh-keygen -t rsa #有提示，都按回车即可
cat ./id_rsa.pub >> ./authorized_keys

这段代码的作用：首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中。

此时再用 ssh localhost命令，无需输入密码就可以直接登陆了。

接下来安装java的运行环境

cd ~
wget yfyoss.oss.aliyuncs.com/jdk-7u79-linux-x64.tar.gz

下载JDK文件到主目录

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录，总之进入你下载的JDK文件所在的目录
sudo tar -zxvf ./jdk-7u79-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

进入解压目录查看是否存在

cd /usr/lib/jvm
ls

可以看到，在/usr/lib/jvm目录下有个jdk1.7.0_79目录。

cd ~
vim ~/.bashrc

上面命令使用vim编辑器(vim编辑器使用教程)打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

然后保存.bashrc文件并退出vim编辑器。
即按Esc键退出插入模式，进入一般模式输入:x或者:wq回车。

source ~/.bashrc

使配置文件立即生效。

java -version

输入该命令，查看是否配置成功。若出现类似如下提示即成功，否则就是前面步骤操作出现错误。
配置成功的提示信息。
即java的版本信息。

java version "1.7.0_79" #这行代码不要输入，这是操作成功，第二行显示出来的提示信息

接下来配置hadoop环境

cd ~
wget yfyoss.oss.aliyuncs.com/hadoop-2.7.1.tar.gz

将hadoop文件下载到主目录下。

sudo tar -zxf ~/hadoop-2.7.1.tar.gz -C /usr/local    # 将hadoop文件解压到/usr/local中
cd /usr/local/   #进入 /usr/local目录
sudo mv ./hadoop-2.7.1/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop:hadoop ./hadoop       # 让hadoop文件获取超级权限。

将下载来的hadoop文件解压，并改名，然后使其获取超级权限用于以后的操作。

cd /usr/local/hadoop
./bin/hadoop version

查看hadoop是否配置成功。
成功会显示hadoop的版本信息。

关于Java和hadoop的环境配置致此结束，下面是关于Hadoop的单机配置的实例演示。

Hadoop单机配置实例演示

我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*          # 查看运行结果

Hadoop单机模式运行grep的输出结果注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。