【入门学习大数据】“伪分布式”的Hadoop应用搭建，2024年最新2024年大数据开发工作或更难找

最新推荐文章于 2024-10-20 17:14:29 发布

2401_84181273

最新推荐文章于 2024-10-20 17:14:29 发布

阅读量849

点赞数 25

分类专栏： 2024年程序员学习文章标签：大数据分布式学习

本文链接：https://blog.csdn.net/2401_84181273/article/details/137887196

版权

2024年程序员学习专栏收录该内容

64 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

mkdir /opt/bigdata
tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata/
pwd
	/opt/bigdata/hadoop-2.6.5

请添加图片描述

HADOOP_HOME

要用Hadoop的命令，就要设置HADOOP_HOME，跟JAVA_HOME一个道理

vi /etc/profile
	最后改为
	export JAVA\_HOME=/usr/java/default
	export HADOOP\_HOME=/opt/bigdata/hadoop-2.6.5
	export PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

source /etc/profile

请添加图片描述

配置好后，在任何地方都可以用hadoop的命令
请添加图片描述

配置文件

Hadoop的配置文件的目录

cd /opt/bigdata/hadoop-2.6.5/etc/hadoop/
或 分两次
cd $HADOOP\_HOME
cd etc/hadoop/

ls

请添加图片描述

给Hadoop 配置JAVA_HOME
因为Hadoop需要ssh免密登录的，但ssh有个弊端，必须修改 hadoop-env.sh 配置jdk的绝对路径
ssh弊端：登录“另一台机”（虽然伪分布式只有单机，但也可视为多机）时不会自动加载 /etc/profile 目录，所以是拿不到 JAVA_HOME 的

cd $HADOOP\_HOME/etc/hadoop/
vi hadoop-env.sh
	找到export JAVA\_HOME=${JAVA\_HOME}改为
	export JAVA\_HOME=/usr/java/default

定位
请添加图片描述
修改后

即：JAVA_HOME 要设置两次：系统，Hadoop

配置Hadoop角色

Hadoop角色 ：NameNode ，DataNode ，Secondary
不知道的，直接跟着配，也不用看下面的补充官方文档解释

会发现配置文件是空的
把配置的内容写在中间
必看：配置的内容，给你了，就是缩进的那些东西

<configuration>
	配置内容
</configuration>

这些配置文件一个个来
请添加图片描述
核心配置文件 core-site.xml
角色NameNode在哪里启动：node01的9000端口（node01是前面配过的主机名）
实际应该避免使用：像官方文档写的是localhost
要具体写死是哪个主机

vi core-site.xml
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:9000</value>
	</property>

请添加图片描述

配置hdfs，hdfs-site.xml
伪分布式的块副本数是1，真正集群要改为2或3
NN的元数据name目录，DN的块数据data目录
Secondary NameNode ，合并主NN的 fsimage和editlog
<name> 属性文档规定死的，<value> 都要是空目录/不存在的（自动创建）

vi hdfs-site.xml
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/name</value>
	</property>
	
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/data</value>
	</property>
	
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node01:50090</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/secondary</value>
	</property>

请添加图片描述

slaves 放启动DN的主机

vi slaves
	node01

补充

想了解具体的要去看官方文档
配置文件导航
请添加图片描述

点击超链接打开网页文件，Ctrl+F 搜索重点：
https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/core-default.xml
https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

NN和DN都要临时目录，放临时数据的，/tmp 会被系统删除，建议改目录
所以开箱即用的配置是有风险的