ubuntu上面部署hadoop

(1)创建Hadoop用户组和Hadoop用户

Sudo addgroup hadoop //创建用户组Hadoop

Sudo adduser -ingroup hadoop hadoop //创建Hadoop用户

(2)用新增hadoop用户名登陆Linux系统
直接登录hadoop用户

(3)安装SSH
Sudo apt-get install openssh-server

 在linux系统中,在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件。将压缩包jdk-8u301-linux-x64.tar.gz解压至/usr/lib/jvm中。如下

解压出来的是jdk1.8.0_301然后在配置jdk环境变量
使用gedit编辑器编辑环境变量
打开bashrc文件
Sudo gedit ~/.bashrc
在文件末尾添加几行内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME={JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:{JRE_HOME}/lib
export PATH={JAVA_HOME}/bin:PATH

保存退出

Source ~/.bashrc让环境变量生效
检验安装情况
Java -version

(5)安装和配置Hadoop

         将压缩包hadoop-2.4.0.tar.gz压缩在linux中的 /usr/local中
         然后将压缩好的文件修改名字为hadoop

注意hadoop真正可运行程序在./bin目录中的hadoop

进入hadoop文件夹,查看安装的Hadoop(在./bin目录中)版本信息:
./bin/hadoop version

然后配置hadoop环境变量
进入文件:
Sudo vim /etc/profile.d/my_env.sh添加环境变量如下:

第一行是hadoop的安装目录
重新加载环境变量
Source /etc/profile

(6)Hadoop测试
进入到/usr/local/hadoop的目录下,创建一个input目录,在该目录下创建一个world.txt文件。然后向该文件写入一些单词,保存退出。

      重新加载环境变量
      Source /etc/profile

然后回到hadoop目录。输入以下命令。

      ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example
      -2.4.0.jar  wordcount input  ./output

      注意:我的可执行程序hadoop在hadoop目录中的bin目录里,所以是
      ./bin/hadoop。hadoop-mapreduce-example-2.4.0.jar是要在上面指定目录里查看的






   在hadoop目录里它会自动生成一个output目录。

该目录的art-r-0000文件保存了input目录中word.txt文件的每个单词的统计个数

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

划水的阿瞒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值