2024年最新hadoop-3，2024大数据开发通用流行框架大全

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

去官网或者华为云镜像下载解压包

华为云镜像：https://mirrors.huaweicloud.com/apache/hadoop/common/hadoop-3.1.1/

(一)上传解压配置环境变量

1、解压

tar -xvf hadoop-3.1.1.tar.gz.gz

include文件夹存放一些第三方的东西，lib存放jar包

2、配置环境变量

vim /etc/profile

#增加配置

export HADOOP_HOME=/usr/local/soft/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

4.使环境变量生效

source /etc/profile

(二)修改配置文件

1、进入hadoop配置文件所在位置，修改hadoop配置文件 cd /usr/local/soft/hadoop-3.1.1/etc/hadoop

2、修改core-site.xml配置文件,在configuration中间增加配置

vim core-site.xml

增加配置

  fs.defaultFS   hdfs://master:9000   hadoop.tmp.dir   /usr/local/soft/hadoop-3.1.1/tmp   fs.trash.interval   1440

3、修改hdfs-site.xml配置文件，在configuration中间增加配置

vim hdfs-site.xml

增加配置

  dfs.replication   1   dfs.permissions   false

4、修改yarn-site.xml配置文件，在configuration中间增加配置

vim yarn-site.xml

增加配置

  yarn.resourcemanager.hostname   master   yarn.nodemanager.aux-services   mapreduce\_shuffle   yarn.log-aggregation-enable   true

5.vim mapred-site.xml

        mapreduce.framework.name
        yarn
   

 
        mapreduce.jobhistory.address  
        master:10020  
   

 
        mapreduce.jobhistory.webapp.address  
        master:19888  
    

6.修改hadoop-env.sh配置文件

vim hadoop-env.sh

增加配置

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home

7.修改hadoop-env.sh配置文件

vim workers

增加配置

node1
node2

8.修改hadoop-env.sh的文件

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

9.分发Hadoop文件夹

目前，已经基本完成Hadoop的配置操作，可以从master将hadoop安装文件夹远程复制到node1、node2

scp -r hadoop-3.3.4 node2:pwd/

scp -r hadoop-3.3.4 node3:pwd/

（三）初始化hdfs

hdfs namenode -format

（四）启动与停止hadoop以及ui页面

（1）启动hadoop
         start-all.sh

（2）停止hadoop
         stop-all.sh

（3）hdfs web ui
         http://master:9870

（4）yarn web ui
         http://master:8088

三.常用命令

1.创建文件夹

hadoop fs -mkdir [-p]

2.将Linux中的文件上传到HDFS文件系统中

hadoop fs -put [-f] [-p] [-l] [-d] [ - | … ].

-p 保留访问和修改时间、权限

-f 覆盖目标文件

3.查看文件内容

hadoop fs -cat [-ignoreCrc] URI [URI …]

4.复制文件到HDFS其他目录下

hadoop fs -cp [-f] [-p | -p[topax]] URI [URI …]

5.将HDFS的文件移动到HDFS其他目录下

hadoop fs -mv URI [URI …]

6.强制删除文件或者文件夹

hadoop fs -rm -r -f

-r 递归删除目录

-f 覆盖目标文件

7.将HDFS文件下载到Linux中

hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]

8.用于将指定文件最后1K字节的内容输出到stdot,一般用于查看日志

hadoop fs -tail [-f]

9.追加并合并文件内容

hadoop fs -appendToFile …

10.修改权限

（1）改变文件的权限

hadoop fs  -chmod [-R] PATH

（2）改变文件的拥有者或所属组

hadoop fs -chown [-R] [OWNER]:[:[GROUP]] PATH

11.统计

（1）统计指定目录下的目录数，文件数，字节数

hadoop fs -count [-h]

-h: 使用便于操作人员读取的单位信息格式

(2)统计文件系统的容量，可用空间，已用空间信息

hadoop fs -df [-h]

(3)显示指定目录下所有文件和文件夹的大小，或者当只指定一个文件时，显示此文件的大小

fs -du [-s] [-h]

-s:不显示指定目录下每个单独文件的大小，只统计目录所占用空间的总大小

-h: 使用便于操作人员读取的单位信息格式

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

计目录所占用空间的总大小

-h: 使用便于操作人员读取的单位信息格式

[外链图片转存中…(img-eizFCR0j-1715648502525)]
[外链图片转存中…(img-fmyFdGio-1715648502525)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！