Hadoop学习，阿里巴巴面试很难吗-CSDN博客

本文链接：https://blog.csdn.net/2401_83977605/article/details/137946997

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

[root@tianqinglong01 ~J# cd /usr/local/

[root@tianqinglong01 localJ# mv 1.8.0_221/jdk

[root@tianqinglong01 localJ# mv hadoop-2.7.6/ hadoop

3.配置环境变量

[root@tianqinglong01 hadoopJ# vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH= $P A T H :$ HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@tianqinglong01 hadoopJ# source /etc/profile

[root@tianqinglong01 hadoopJ# cd

[root@tianqinglong01 ~J# hadoop version

02 03 也要安装hadoop

[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong02:$PWD

[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong03:$PWD

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong02:/etc/

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong03:/etc/

[root@tianqinglong02 .sshJ# source /etc/profile

[root@tianqinglong02 ~J# hadoop version

[root@tianqinglong03 .sshJ# source /etc/profile

[root@tianqinglong03 ~J# hadoop version

NameNode 和 DateNode

NameNode ：是用来维护集群的目录树结构，并对外提供服务的节点

DateNode ：数据存储的节点

在这里插入图片描述

Hadoop的配置文件

我们需要通过配置若干配置文件，来实现Hadoop集群的配置信息。需要配置的文件有:

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

core-site.xml

[root@tianqinglong01 ~]# cd $HADOOP_HOME/etc/hadoop/

[root@tianqinglong01 hadoop]# vi core-site.xml

fs.defaultFS

hdfs://tianqinglong01:8020

hodoop.tmp.dir

/usr/local/hodoop/tmp

hdfs-site.xml

[root@tianqinglong01 hadoop]# vi hdfs-site.xml

dfs.namenode.name.dir

file://${hadoop.tmp.dir}/dfs/name

</ property>

dfs.datanode.data.dir

file://${hadoop.tmp.dir}/dfs/data

dfs.replicationc

dfs.blocksize

134217728

dfs.namenode.secondary.http-address

tianqinglong02:50090

dfs.nomenode.http-address

tianqinglong01:50070

mapred-site.xml

[root@tianqinglong01 hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@tianqinglong01 hadoop]# vi mapred-site .xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

tianqinglong01:10020

mopreduce-jobhistory.webapp.address

tianqinglong01:19888

yarn-site.xml

[root@tianqinglong01 hadoop]# vi yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

tianqinglong01

yarn.nodemanager.aux-services.mapreduce_shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

tianqinglong01:8032

yarn.resourcemanager.scheduler.address

tianqinglong01:8030

yarn.resourcemanager.resource-tracker.address

tianqinglong01:8031

yarn.resourcemanager.admin.address

tianqinglong01:8033

yarn.resourcemanager.webapp.address

tianqinglong01:8088

hadoop-env.sh

[root@tianqinglong01 hadoop]# vim hadoop-env.sh

…

The java implementation to use

export JAVA_HOME=/usr/local/jdk

…

yarn-env.sh

[root@tianqinglong01 hadoop]# yarn-env.sh

…

some Java Paramters

JAVA_HOME=/usr/local/jdk

…

slaves

此文件用于指定datanode守护进程所在的机器节点主机名

[root@tianqinglong01 hadoop]# vim slaves

tianqinglong01

tianqinglong02

tianqinglong03

分发到另外两台

[root@tianqinglong01 hadoop]# cd …

[root@tianqinglong01 etc]# ll

[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong02:$PWD

[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong03:$PWD

格式化集群与启动

格式化集群

1.在tianqinglong01机器上运行命令

[root@tianqinglong01 ~]# hdfs namenode -format

[root@tianqinglong01 ~]# cd /usr/local/hadoop/tmp/dfs/name/current

启动

1.启动脚本

– start-dfs.sh :用于启动hdfs集群的脚本

– start-yarn.sh :用于启动yarn守护进程

– start-all.sh :用于启动hdfs和yarn

2.关闭脚本

– stop-dfs.sh :用于关闭hdfs集群的脚本

– stop-yarn.sh :用于关闭yarn守护进程

– stop-all.sh :用于关闭hdfs和yarn

[root@tianqinglong01 ~]# ssh-copy-id tianqinglong01

[root@tianqinglong01 ~]# start-dfs.sh

[root@tianqinglong01 ~]# jps #查看

HDFS的shell命令

HDFS其实就是一个分布式的文件系统，我们可以使用一些命令来操作这个分布式文件系统上的文件。

-访问HDFS的命令:

hadoop dfs —已过时

hdfs dfs

-小技巧

1.在命令行中输入hdfs。回车后，就会提示hdfs.后可以使用哪些命令，其中有一个是dfs.

2.在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令。

-注意事项

分布式文件系统的路径在命令行中,要从/开始写,即绝对路径。

创建目录

hdfs dfs -mkdir (-p) /目录

hdfs dfs -mkdir (-p) /data

上传指令

echo “hello hdfs” >> a1

hdfs dfs -put a1 /data

创建空文件

hdfs dfs -mkdir /empty

hdfs dfs touchz /empty/empty1

向分布式文件系统中的文件里追加内容

echo “hello world” >> e1

hdfs dfs -appendToFile e1 /empty/empty1

下载指令

hdfs dfs -get /empty/empty1 ./

##扩展拷贝指令

hdfs dfs -copyToLocal /empty ./

合并下载

把多个文件里面数据合并成一个

echo “hello 1” >> file1

echo “hello 2” >> file2

echo “hello 3” >> file3

hdfs dfs -put file* /

hdfs dfs -getmerge /file* ./file

cat file

hello 1

hello 2

hello 3

移动文件

hdfs dfs -mv /file* /data

重命名

hdfs dfs -mv /test /test1

复制

hdfs dfs -cp /data/file1 /

删除命令

hdfs dfs -rm /file1

hdfs dfs -rm -r /a #递归删除

hdfs dfs -rmdir /test1 #只能删除空文件夹

查看磁盘利用率和文件大小

hdfs dfs -df /

hdfs dfs -df -h / #可以直观的看

hdfs dfs -du -h /data #查看data文件夹里面的每个文件大小

hdfs dfs -du -s /data #查看data文件夹里面的总文件大小

修改权限的

hdfs dfs -chmod 777 /data

hdfs dfs -chown shawn:shwan /data

修改副本数量

hdfs dfs -setrep 5 /data #默认为3

查看文件状态

在这里插入图片描述

测试

hdfs dfs -test -e /data/a1 # 看不出来什么

hdfs dfs -test -e /data/a1 && echo “exists” || echo “none”

HDFS的块

在这里插入图片描述

hdfs不适合小文件的存储！块是固定的~ 你存1M和127M都要占用那么多空间

HDFS的优点

1, 高容错性(硬件故障是常态)数据自动保存多个副本，副本丢失后，会自动恢复

2, 适合大数据集:GB。TB、甚至PB级数据、千万规模以上的文件数量，1000以上节点规模。

3, 数据访问:一次性写入。多次读取;保证致据一致性,安全性

4, 构建成本低:可以构建在廉价机器上。

5, 多种软硬件平台中的可移植性

6, 高效性:Hodoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

7, 高可靠性:Hadoop的存储和处理数据的能力值得人们信赖,

HDFS的缺点

1.不适合做低延迟数据访问:

HDFS的设计目标有一点是:处理大型数据集，高吞吐率。这一点势必要以高延迟为代价的。

因此HDFS不适合处理用户要求的毫秒级的低延迟应用请求

2.不适合小文件存储:

一个是大量小文件需要消耗大量的寻址时间，违反了HDFS的尽可能减少寻址时间比例约设计目标。

第二个是内存有限，一个block元数据大内存消耗大约为159个字节，存储一亿个block和

一亿个小文件都会消耗20G内存。因此相对来说。大文件更省内存。

3.不适合并发写入,文件随机修改:

HOFS上的文件只能拥有一个写者，仅仅支持append操作。不支持多用户对同一个文件的写操作，

以及在文件任意位置进行修改

HDFS的体系结构解析

在这里插入图片描述

HDFS的开机启动过程

最后

看完上述知识点如果你深感Java基础不够扎实，或者刷题刷的不够、知识不全面

小编专门为你量身定制了一套<Java一线大厂高岗面试题解析合集：JAVA基础-中级-高级面试+SSM框架+分布式+性能调优+微服务+并发编程+网络+设计模式+数据结构与算法>

针对知识面不够，也莫慌！还有一整套的<Java核心进阶手册>，可以瞬间查漏补缺

全都是一丢一丢的收集整理纯手打出来的

更有纯手绘的各大知识体系大纲，可供梳理：Java筑基、MySQL、Redis、并发编程、Spring、分布式高性能架构知识、微服务架构知识、开源框架知识点等等的xmind手绘图~

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
rmark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAamF2YeWFqOagiF9jb2Rlcg==,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

HDFS的开机启动过程