(大数据开发随笔6)Hadoop 3.3.x分布式环境部署——本地模式

本地模式

材料准备

Centos7虚拟机部署

安装JDK

  • 软件包上传路径:/root/softwares

  • 软件包安装路径:/usr/local

  • 卸载原有的JDK

    rpm -qa | grep jdk  # 查询已有的
    rpm -e xxxx --nodeps  # 将查询到的jdk强制卸载
    
  • 解压安装:tar -zxvf jdk-8u321-linux-x64.tar.gz -C /usr/local/

  • 可能需要:yum -y install vim*

  • 环境变量:vim /etc/profile

    • 在末尾添加如下:
    • export JAVA_HOME=/usr/local/jdk1.8.0_321 export PATH=$PATH:$JAVA_HOME/bin
    • :wq保存
    • 生效:source /etc/profile
    • 验证:javacjava -version

安装Hadoop

  • 解压安装:tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local/

  • 环境变量:vim /etc/profile

    • 在末尾添加:export HADOOP_HOME=/usr/local/hadoop-3.3.1

    • PATH后添加:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    • 最终样式:

      image-20230312133316944

    • 生效:source /etc/profile

    • 验证: hadoop version

  • cd $HADOOP_HOME/ ——> ll

    • image-20230312193442413

案例演示

  • WordCount
## 模拟数据
mkdir ~/input
cd input
vim file1  # 在file1中随意地写入一些单词,以空格分隔
for i in {1..1000}; do cat file1 >> file2; done  # 循环1000次,每次都将file1里的内容追加到file2中
for i in {1..1000}; do cat file1 >> file2; done  # 循环1000次,每次都将file2里的内容追加到file3中
for i in {1..10}; do cat file1 >> file2; done  # 循环1000次,每次都将file3里的内容追加到file4中

## 执行运算
cd $HADOOP_HOME/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.3.1.jar wordcount ~/input/ ~/output  # 注意:output文件夹不能已经存在

## 查看结果
cd ~/output/
cat part-r-00000
  • Π(pi)
cd $HADOOP_HOME/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.3.1.jar pi 10 10
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值