安装Hadoop

安装Hadoop

小白的Linux学习笔记 2024/4/22 10:14

Hadoop是java做的

Hadoop是java做的,所以需要java支持,把下图文件传入linux

在这里插入图片描述

解压:

cd /usr/local
ll
tar -zxvf jdk1.8.0_144.tar.gz -C /usr/local
mv jdk1.8.0_144 jdk

安装Hadoop

1.安装jdk
1.1 上传jdk到/root
1.2 tar
1.3 改名
tar -zxvf jdk-8u144-linux-x64.tar.gz -c /usr/local/

-x 抽取每一个文件

-v 能看到抽取的进度

-z 解压

-c 解压到什么地方

mv jdk1.8.0_144 jdk

mv 剪切

把jdk1.8.0_144 剪切到jdk中,在这里实现了改名的作用

.tar.gz 这种包,解压完就是安装完了


1.4 配置环境变量
1.5 source
配置环境变量

原因:第三方软件需要通过环境变量找到jdk

vi /etc/profile

profile :就是配置环境变量的地方,输入上面代码后找到如下图位置

在这里插入图片描述

export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

变量export之后,在很多地方都可以访问,子进程中也可以访问

shell 也是一门语言,和java一样

source /etc/profile 
  • 执行文件并从文件中加载变量及函数到执行环境

让刚才加的变量生效


2.配置文件
2.1 配置主机名和ip地址的映射
vim /etc/hosts

配置映射:ip地址 主机名

在这里插入图片描述

192.168.38.101 centos1

为什么配映射?

因为ip地址不好记,写起来麻烦,所以给ip地址起个别名,以后可以用这个名字代替ip地址

2.2 解压Hadoop到 /usr/local下

①解压

②进入local

③改名

tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local
cd /usr/local
mv hadoop-2.7.2/ hadoop
2.4 配置xml文件
2.4.1 配置jdk位置

①进入

cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh

修改这里

在这里插入图片描述

改成

export JAVA_HOME=/usr/local/jdk 

在这里插入图片描述

2.4.2 配置core-site.xml

在/usr/local/hadoop/etc/hadoop下

vim core-site.xml
  • 额外,xml是什么?
  • xml是一种存储结构化数据的格式
  • 它的数据有规律,叫结构化(乱糟糟的就不是结构化)

把下面的放在 中间

<!-- 制定HDFS的老大(NameNode)的地址,这文件存储系统 ,这里的老大是个进程,socket,hadoop.tmp.dir,数据和账本在linux上存储位置-->
<property>
			<name>fs.defaultFS</name>
			<value>hdfs://centos1:9000</value>
		</property>
		<!-- 指定hadoop运行时产生文件的存储目录,最终分片的块数据 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/usr/local/hadoop/tmp</value>
                              </property>
  • 其中centos是主机名,也可以写ip

在这里插入图片描述

然后保存退出

2.4.3 配置hdfs-site.xml

在/usr/local/hadoop/etc/hadoop下

vim hdfs-site.xml
  <property>
                   <name>fs.checkpoint.period</name>
                    <value>3000</value>
                </property>
		<!-- 指定HDFS副本的数量 (集群下,有多台机,可多份,目前就一台)-->
		<property>
			<name>dfs.replication</name>
			<value>1</value>
                </property>
                <property>
        <name>dfs.permissions</name>
        <value>false</value>
 </property>

在这里插入图片描述

2.4.4 配置mapred-site.xml

在/usr/local/hadoop/etc/hadoop下

  • 注意:原来没有mapred-site.xml,是改名来的
mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml
<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
        </property>

在这里插入图片描述

2.4.5 配置yarn-site.xml

在/usr/local/hadoop/etc/hadoop下

vim yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 yarn -->
<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>centos1</value>
        </property>
		<!-- reducer获取数据的方式是shuffle方式 -->
        <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
        </property>

在这里插入图片描述

3.配置Hadoop环境变量
3.1 进入、添加、使修改后的环境变量生效
vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop
		export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

source /etc/profile
3.3格式化namenode
hdfs namenode -format

创建账本目录、datanode目录

在这里插入图片描述

遇到的问题

在这里插入图片描述

原因是配置环境变量有问题,要保证3.1配置环境变量没写错,是你的Hadoop的安装位置(别写错字母了)

  • 额外:
  • 端口,两个电脑需要有端口才能相互传递信息,一个电脑有很多端口,类似一个国家有很多港口
  • 21
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
在Linux上安装Hadoop可以按照以下步骤进行: 1. 首先,确保你已经在Linux系统上安装了Java Development Kit(JDK)。Hadoop是用Java编写的,所以需要先安装Java环境。 2. 下载Hadoop的二进制文件。你可以从Hadoop官方网站(https://hadoop.apache.org/)下载最新版本的Hadoop。 3. 解压下载的Hadoop压缩包。使用以下命令解压: ``` tar -xzvf hadoop-x.x.x.tar.gz ``` 4. 将解压后的Hadoop文件夹移动到你想要安装的目录。例如,可以将其移动到`/usr/local`目录下: ``` sudo mv hadoop-x.x.x /usr/local/hadoop ``` 5. 配置Hadoop环境变量。编辑`~/.bashrc`文件,并添加以下内容: ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 6. 使环境变量生效: ``` source ~/.bashrc ``` 7. 配置Hadoop的核心文件。进入Hadoop安装目录,并编辑`etc/hadoop/hadoop-env.sh`文件,设置Java环境变量: ``` export JAVA_HOME=/path/to/java ``` 8. 配置Hadoop集群的相关文件。主要包括`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。这些文件位于`etc/hadoop`目录下。你可以根据自己的需求进行配置,例如设置Hadoop的工作目录、数据存储目录、日志目录等。 9. 格式化Hadoop文件系统。使用以下命令格式化HDFS: ``` hdfs namenode -format ``` 10. 启动Hadoop集群。使用以下命令启动Hadoop: ``` start-all.sh ``` 至此,你已经成功在Linux上安装并启动了Hadoop。你可以通过访问Hadoop的Web界面(默认为http://localhost:50070)来验证Hadoop是否正常运行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值