【一】hadoop单机版安装及运行wordcount

环境ubuntu16.04

1.更新apt

sudo apt-get update

2.确保已安装JAVA

如果没有请看安装步骤:Linux安装JAVA

确保已安装SSH

如果没有请看安装步骤:安装SSH

确保已配置SSH免密码登录

如果没有请看配置步骤:SSH免密码登录

这里单机则是:将A公钥添加到A认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.创建路径

mkdir /app/hadoop

cd /app/hadoop

5.下载(直接在/app/hadoop里面下载)

wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.9.0.tar.gz

6.解压

tar -zxvf hadoop-2.9.0.tar.gz

7.查看是否安装完成

cd /app/hadoop/hadoop-2.9.0

./bin/hadoop version

显示出版本号则安装完成

8.单机版(不用配置,安装完成默认是非分布式模式)

9.查看hadoop是否启动

ps -ef | grep Hadoop

10.用一个配置文件运行一下wordcount

cd /app/hadoop/hadoop-2.9.0

创建输入文件夹

mkdir /app/hadoop/input

将输入文件放入输入文件夹中

cp ./etc/hadoop/core-site.xml /app/hadoop/input

运行

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jarwordcount /app/hadoop/input /app/hadoop/output

11.查看结果

cd /app/hadoop/output

cat part-r-00000

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值