foshanxpj hadoop

运行wordCount实例

cd /usr/local/hadoop
bin/hdfs dfs -mkdir -p /user/hadoop   #创建HDFS目录
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input  #将配置文件作为输入
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z]+'

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output  #wordcount
bin/hdfs dfs -cat output/*     #查看输出OC

vim ~/.bashrc  #设置JAVA_HOME
7、在文件第一行添加
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

实操注意事项

1. su hadoop
2.sudo rm /var/lib/dpkg/lock
3.sudo rm /var/lib/dpkg/lock-frontend

vim  x删除  O加一行  :wq 退出且保存  :q! 退出不保存
esc :wq


老师加一行

rm tmp

jps

wordcut

start-all.sh

#jps不全

mv /usr/local/hadoop/tmp/dfs/data/current  /usr/local/hadoop/tmp/dfs/data/current.20220925

cd /usr/local/hadoop/sbin

./start-all.sh

#移除output文件夹

hdfs dfs -rm -r output

hadoop本地运行的两个案例。官方Grep案例、官方WordCount案例。 - 腾讯云开发者社区-腾讯云

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:深蓝海洋 设计师:CSDN官方博客 返回首页
评论

打赏作者

Xiao沛杰

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值