先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
![请添加图片描述](https://img-blog.csdnimg.cn/direct/751faa83fbdc4720b84f75e40a8f2812.png)
![请添加图片描述](https://img-blog.csdnimg.cn/direct/4281fd23f3ff4143a78e5203f4cf6ee7.png)
配置好后,在任何地方都可以用hadoop的命令
![请添加图片描述](https://img-blog.csdnimg.cn/direct/df6c8f4a13534f50b514489b028b4395.png)
## 配置文件
Hadoop的配置文件的目录
cd /opt/bigdata/hadoop-2.6.5/etc/hadoop/
或 分两次
cd $HADOOP_HOME
cd etc/hadoop/
ls
![请添加图片描述](https://img-blog.csdnimg.cn/direct/f8db59b6a3164cef9dfacdbf4e7fcf7d.png)
给Hadoop 配置JAVA\_HOME
因为Hadoop需要ssh免密登录的,但ssh有个弊端,必须修改 `hadoop-env.sh` 配置jdk的绝对路径
ssh弊端:登录“另一台机”(虽然伪分布式只有单机,但也可视为多机)时不会自动加载 `/etc/profile` 目录,所以是拿不到 JAVA\_HOME 的
cd
H
A
D
O
O
P
_
H
O
M
E
/
e
t
c
/
h
a
d
o
o
p
/
v
i
h
a
d
o
o
p
−
e
n
v
.
s
h
找到
e
x
p
o
r
t
J
A
V
A
_
H
O
M
E
=
HADOOP\_HOME/etc/hadoop/ vi hadoop-env.sh 找到export JAVA\_HOME=
HADOOP_HOME/etc/hadoop/vihadoop−env.sh找到exportJAVA_HOME={JAVA_HOME}改为
export JAVA_HOME=/usr/java/default
定位
![请添加图片描述](https://img-blog.csdnimg.cn/direct/c382082b162741738423b7bc5b6d5374.png)
修改后
![请添加图片描述](https://img-blog.csdnimg.cn/direct/56e449806d6c4caca1dcbe29b67a2c8d.png)
即:JAVA\_HOME 要设置两次:系统,Hadoop
### 配置Hadoop角色
Hadoop角色 :NameNode ,DataNode ,Secondary
不知道的,直接跟着配,也不用看下面的补充官方文档解释
会发现配置文件是空的
把配置的内容写在中间
必看:配置的内容,给你了,就是缩进的那些东西
配置内容
这些配置文件一个个来
![请添加图片描述](https://img-blog.csdnimg.cn/direct/d7cc0fba3b7f4ecea9f450816f49b198.png)
核心配置文件 core-site.xml
角色NameNode在哪里启动:node01的9000端口(node01是前面配过的主机名)
实际应该避免使用:像官方文档写的是localhost
要具体写死是哪个主机
vi core-site.xml
fs.defaultFS
hdfs://node01:9000
![请添加图片描述](https://img-blog.csdnimg.cn/direct/c75e43ab0f744114a61b6026bea54706.png)
配置hdfs,hdfs-site.xml
伪分布式的块副本数是1,真正集群要改为2或3
NN的元数据name目录,DN的块数据data目录
Secondary NameNode ,合并主NN的 fsimage和editlog
`<name>` 属性文档规定死的,`<value>` 都要是空目录/不存在的(自动创建)
vi hdfs-site.xml
dfs.replication
1
<property>
<name>dfs.namenode.name.dir</name>
<value>/var/bigdata/hadoop/local/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/var/bigdata/hadoop/local/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>
![请添加图片描述](https://img-blog.csdnimg.cn/direct/d82e0f241ee94d55b30fde702cd77abf.png)
slaves 放启动DN的主机
vi slaves
node01
### 补充
想了解具体的要去看官方文档
配置文件导航
![请添加图片描述](https://img-blog.csdnimg.cn/direct/6d3046739c134ee2a92d0b7f47fe6c92.png)
点击超链接打开网页文件,Ctrl+F 搜索重点:
https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/core-default.xml
https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
NN和DN都要临时目录,放临时数据的,/tmp 会被系统删除,建议改目录
所以开箱即用的配置是有风险的
## 格式化/初始化(“企业一辈子就这一次”)
/var 目录下没有bigdata目录
![请添加图片描述](https://img-blog.csdnimg.cn/direct/9f0fe70fdd39480abed8d1869d321752.png)
格式化
hdfs namenode -format
重要的是看输出的底部
![请添加图片描述](https://img-blog.csdnimg.cn/direct/583b2286c49a43a2892a033324763d5b.png)
就有bigdata了
![请添加图片描述](https://img-blog.csdnimg.cn/direct/2d2180e49d04470aa1c40fae4329cf24.png)
格式化时,只初始化 NameNode
DataNode 、Secondary 在第一次启动时才创建初始化
![请添加图片描述](https://img-blog.csdnimg.cn/direct/7e66b1ff1fdc4d008a3731d339a4ca4d.png)
clusterID - 集群ID
为什么不要在启动了后再次格式化?因为会导致这个id改变,NN和
DN就不匹配了
## 启动
启动dfs分布式文件系统,要停止就换为stop
start-dfs.sh
或
start-all.sh
![请添加图片描述](https://img-blog.csdnimg.cn/direct/6e1290ec03674fadba2949ddd7886078.png)
以下是验证,不关搭建的事
可以直接跳到下面的浏览器访问
本来只有name,现在就验证创建了data、secondary
![请添加图片描述](https://img-blog.csdnimg.cn/direct/0423102fa8134702b902fb2f4e4e2998.png)
看一下data块数据目录下有什么
![请添加图片描述](https://img-blog.csdnimg.cn/direct/b27b1496a2874675b1c22b341fe38aa2.png)
![请添加图片描述](https://img-blog.csdnimg.cn/direct/777eea780cdf40b49f137479613926b6.png)
完整的
![请添加图片描述](https://img-blog.csdnimg.cn/direct/01c4118ac36a42388eeb24b4eeba7a67.png)
## Windows浏览器访问服务
1. 修改 Windows 的 hosts映射,找到文件打开
C:\Windows\System32\drivers\etc\hosts
2. 添加 Linux主机的 IP和主机名
192.168.40.136 node01
保存退出,还要再一次保存退出
因为什么系统文件需要管理员身份,第一次后就切换到管理员了
3. 浏览器打开(不是IE就行)
http://node01:50070
如果是访问不到,首先看看你前面有没有启动hadoop
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)**
![img](https://img-blog.csdnimg.cn/img_convert/f2a70e74845fb801802ac5a16e4ae3f3.png)
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
如果是访问不到,首先看看你前面有没有启动hadoop
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)**
[外链图片转存中...(img-8QyG5KHZ-1713355936304)]
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**