2024年最新【入门学习大数据】“伪分布式”的Hadoop应用搭建(1)，2024网易大数据开发高级面试题及答案

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

不知道的，直接跟着配，也不用看下面的补充官方文档解释

会发现配置文件是空的  
 把配置的内容写在中间  
 必看：配置的内容，给你了，就是缩进的那些东西

配置内容

这些配置文件一个个来  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/d7cc0fba3b7f4ecea9f450816f49b198.png)  
 核心配置文件 core-site.xml  
 角色NameNode在哪里启动：node01的9000端口（node01是前面配过的主机名）  
 实际应该避免使用：像官方文档写的是localhost  
 要具体写死是哪个主机

vi core-site.xml

fs.defaultFS
hdfs://node01:9000

![请添加图片描述](https://img-blog.csdnimg.cn/direct/c75e43ab0f744114a61b6026bea54706.png)


配置hdfs，hdfs-site.xml  
 伪分布式的块副本数是1，真正集群要改为2或3  
 NN的元数据name目录，DN的块数据data目录  
 Secondary NameNode ，合并主NN的 fsimage和editlog  
 `<name>` 属性文档规定死的，`<value>` 都要是空目录/不存在的（自动创建）

vi hdfs-site.xml

dfs.replication
1

<property>
	<name>dfs.namenode.name.dir</name>
	<value>/var/bigdata/hadoop/local/dfs/name</value>
</property>

<property>
	<name>dfs.datanode.data.dir</name>
	<value>/var/bigdata/hadoop/local/dfs/data</value>
</property>

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node01:50090</value>
</property>
<property>
	<name>dfs.namenode.checkpoint.dir</name>
	<value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>

![请添加图片描述](https://img-blog.csdnimg.cn/direct/d82e0f241ee94d55b30fde702cd77abf.png)


slaves 放启动DN的主机

vi slaves
node01

### 补充


想了解具体的要去看官方文档  
 配置文件导航  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/6d3046739c134ee2a92d0b7f47fe6c92.png)


点击超链接打开网页文件，Ctrl+F 搜索重点：  
 https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/core-default.xml  
 https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml


NN和DN都要临时目录，放临时数据的，/tmp 会被系统删除，建议改目录  
 所以开箱即用的配置是有风险的


## 格式化/初始化（“企业一辈子就这一次”）


/var 目录下没有bigdata目录  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/9f0fe70fdd39480abed8d1869d321752.png)


格式化

hdfs namenode -format

重要的是看输出的底部  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/583b2286c49a43a2892a033324763d5b.png)


就有bigdata了  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/2d2180e49d04470aa1c40fae4329cf24.png)


格式化时，只初始化 NameNode  
 DataNode 、Secondary 在第一次启动时才创建初始化  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/7e66b1ff1fdc4d008a3731d339a4ca4d.png)  
 clusterID - 集群ID  
 为什么不要在启动了后再次格式化？因为会导致这个id改变，NN和  
 DN就不匹配了


## 启动


启动dfs分布式文件系统，要停止就换为stop

start-dfs.sh
或
start-all.sh

![请添加图片描述](https://img-blog.csdnimg.cn/direct/6e1290ec03674fadba2949ddd7886078.png)


以下是验证，不关搭建的事  
 可以直接跳到下面的浏览器访问  
 本来只有name，现在就验证创建了data、secondary  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/0423102fa8134702b902fb2f4e4e2998.png)


看一下data块数据目录下有什么  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/b27b1496a2874675b1c22b341fe38aa2.png)  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/777eea780cdf40b49f137479613926b6.png)


完整的  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/01c4118ac36a42388eeb24b4eeba7a67.png)


## Windows浏览器访问服务


1. 修改 Windows 的 hosts映射，找到文件打开

C:\Windows\System32\drivers\etc\hosts

2. 添加 Linux主机的 IP和主机名

192.168.40.136 node01

保存退出，还要再一次保存退出  
 因为什么系统文件需要管理员身份，第一次后就切换到管理员了


3. 浏览器打开（不是IE就行）

http://node01:50070

如果是访问不到，首先看看你前面有没有启动hadoop


### 看一下界面的基本信息


![请添加图片描述](https://img-blog.csdnimg.cn/direct/892d9b6057c24dcb9ecd7fffbf0e7031.png)


## 命令行使用 & 验证知识点


### 创建目录


查看文件系统支持的操作命令有什么，发现是几乎是一样（找到规律后）

hdfs dfs

hdfs dfs -mkdir /bigdata
hdfs dfs -mkdir -p /user/root

![请添加图片描述](https://img-blog.csdnimg.cn/direct/2190753daccb465f9896f433eaf1f1f1.png)  
 是在hadoop hdfs中创建的，本地根目录并没有  
 hdfs里的用户家目录是user


![请添加图片描述](https://img-blog.csdnimg.cn/direct/00f15924cb9b412f83902809821717d1.png)  
 ![请添加图片描述](https://img-blog.csdnimg.cn/direct/62a6bd0c80644240b85a9f512d8d408e.png)


### 如何保证上传文件不重名


集群是如何保证：多节点同时上传文件在同一目录，文件名不重的？  
 用大文件上传，方便捕捉到过程（要Go刷新）

cd
hdfs dfs -put hadoop-2.6.5.tar.gz /user/root

结论：先到NN的，就先用名字先占用，如：`hadoop-2.6.5.tar.gz._COPYING_`


![请添加图片描述](https://img-blog.csdnimg.cn/direct/a72adde85e9f4738b7f1839ce5e98097.png)  


![img](https://img-blog.csdnimg.cn/img_convert/4653a4a4c614dbd3d8f1304d0907236c.png)
![img](https://img-blog.csdnimg.cn/img_convert/4c7295cbcb546cf7d53784a6ebb12793.png)
![img](https://img-blog.csdnimg.cn/img_convert/966e0d4822aab0807a7b2c22f14e8b8f.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

mg-fx2PXkfM-1715654744713)]
[外链图片转存中...(img-jz4MaPgH-1715654744713)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**