Hadoop安装

已于 2022-12-18 15:43:41 修改
阅读量168 收藏
点赞数
文章标签： hadoop big data ssh
于 2021-10-10 21:38:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46040633/article/details/117605231
版权

1.同步本地时间

安装chrony

# dnf install chrony    #安装chrony
# dnf install vim       #安装vim
# vim /etc/chrony.conf  #打开文件
server cn.ntp.org.cn iburst
server ntp.ntsc.ac.cn iburst

添加上面两行，并将第三行的pool。。。注释效果如图

watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAWXVZdV9DcnlzdGFs,size_8,color_FFFFFF,t_70,g_se,x_16

# systemctl enable chronyd.service
#  systemctl restart chronyd.service
#  chronyc sources -v

三台机器同样的操作；

2.检查ssh免密登录

[root@cSlave1 joe]# rpm -qa | grep ssh

如图即可：

watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAWXVZdV9DcnlzdGFs,size_15,color_FFFFFF,t_70,g_se,x_16

3.安装Java环境

输入命令下载

# dnf install java-1.8.0-openjdk java-1.8.0-openjdk-devel
​
#查找java
# which java
/usr/bin/java
​
# ls -lr /usr/bin/java
lrwxrwxrwx. 1 root root 22 10月  6 12:17 /usr/bin/java -> /etc/alternatives/java
# ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 10月  6 12:17 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el8_4.x86_64/jre/bin/java
#所以jdk的安装路径位：/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el8_4.x86_64
#配置java环境变量
# vim ~/.bashrc
#在文末添加
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el8_4.x86_64 
#按ESC 输入 ：wq！ 退出
​
#更新文件
# source ~/.bashrc
​
#查看java版本
# java -version
openjdk version "1.8.0_302"
​
# $JAVA_HOME/bin/java -version
openjdk version "1.8.0_302"
#比较上面两个。相同则成功

4.关闭防火墙

#查看防火墙状态
# systemctl status firewalld.service
#关闭防火墙
#  systemctl stop firewalld.service
#关闭防火墙自启动
# systemctl disable firewalld.service 
#重启网络
# nmcli c reload

利用克隆即可创建其他的。

5.修改机器名

（可以在安装的时候修改，我选择在命令行修改）

# hostname
localhost.localdomain
# hostnamectl set-hostname cMaster
# hostname
cMaster

6.添加域名映射

查找ip地址

[joe@cMaster ~]$ ifconfig
[root@cMaster joe]# vim /etc/hosts

添加文本：

192.168.72.139 cMaster
192.168.72.136 cSlave1
192.168.72.140 cSlave2

检查虚拟机内是否实现网内互联

ping 主机名

7. ssh免密登录

在cMaster机器上操作

#生成密钥，一路回车
$ ssh-keygen -t rsa
#将密钥copy给其他机器，输入yes，然后输入密码
$ ssh-copy-id cSlave1
#测试是否能登陆
[root@cMaster joe]# ssh cslave1

重复上述步骤（！测试之后，记得退出即输入：exit）直达cMaster能够免密登录其他机器和本身

8.在cMaster上安装Hadoop

(1)安装

将安装包拷贝到虚拟机的主目录下

解压安装到./文件

$ tar -zxf /home/joe/hadoop-3.3.1.tar.gz -C ./

修改文件名为hadoop

修改用户权限

# sudo chown -R joe:joe ./hadoop

查看安装成功与否

$ cd ./hadoop
./bin/hadoop version

watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAWXVZdV9DcnlzdGFs,size_19,color_FFFFFF,t_70,g_se,x_16

出现：

出现该问题：ERROR: JAVA_HOME is not set and could not be found.

解决方法：

# vim /home/joe/hadoop/etc/hadoop/hadoop-env.sh

写入：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el8_4.x86_64

（2） 配置PATH变量

# vim hadoop-env.sh
#写入下面的文件：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el8_4.x86_64
 export HADOOP_CONF_DIR=/home/joe/hadoop/etc/hadoop
vim ~/.bashrc
#写入下面的文件
export PATH=$PATH:/home/joe/hadoop/bin:/home/joe/hadoop/sbin
export JAVA_LIBRARY_PATH=/usr/local/lib/hadoop-native        

（2）修改hadoop配置文件

修改slaves文件

 # cd /home/joe/hadoop/etc/hadoop
 #  vim ./slaves

添加下面两行

cSlave1
cSlave2

修改core-site.xml

# vim core-site.xml
<configuration>
<property>
                <name>fs.defaultFS</name>
                <value>hdfs://cMaster:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file: <value>file:/home/joe/hadoop/tmp</value>
                <description>Abase for other temporary dorectories.</description>
        </property>
</configuration>

修改hdfs-site.xml

# vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
                <value>cMaster:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/joe/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/joe/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

修改mapred-site.xml

# vim mapred-site.xml
<configuration>
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>cMaster:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>cMaster:19888</value>
        </property>
</configuration>

修改yarn-site.xml

# vim yarn-site.xml
<configuration>
​
<!-- Site specific YARN configuration properties -->
<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>cMaster</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

（3）将hadoop复制到其他结点

传输hadoop

# cd ~
#压缩文件
# tar -zcf /home/joe/hadoop-master.tar.gz /home/joe/hadoop
#传输文件
# scp /home/joe/hadoop-master.tar.gz cSlave1:/home/joe
      

在cSlave1上

# cd ~
# tar -zxf /home/joe/hadoop-master.tar.gz -C /home/joe

其他机器同理；

9.启动Hadoop集群

开启：
/home/joe/hadoop/sbin/start-dfs.sh
/home/joe/hadoop/sbin/start-yarn.sh
​
关闭：
/home/joe/hadoop/sbin/stop-dfs.sh
/home/joe/hadoop/sbin/stop-yarn.sh

watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAWXVZdV9DcnlzdGFs,size_20,color_FFFFFF,t_70,g_se,x_16

*出现问题：

问题（1）

ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [cMaster]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

解决：

# vim hadoop-env.sh

加入以下文本到最后一行：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

参考：

(26条消息) 【详细】VMware虚拟机配置Hadoop集群实验[CentOS8]_Coder_C9的博客-CSDN博客centos7：ssh免密登陆设置及常见错误 - 平复心态 - 博客园 (cnblogs.com)

Java - CentOS下JDK的安装教程（及JAVA_HOME配置、以jdk1.8为例） (hangge.com)Apache Hadoop 3.1.2 – Hadoop Cluster Setup

(26条消息) hadoop入门1：ERROR Cannot set priority of datanode process_小钢炮-CSDN博客(26条消息) CentOS 下搭建 Hadoop：Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).解决_haoweixl的博客-CSDN博客(26条消息) linux查看文件夹权限_manongxianfeng的博客-CSDN博客_查看文件夹权限

幸以
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop安装
12-05
hadoop详细安装，配置，包括配置环境变量，让环境变量生效。core-site.xml， hdfs-site.xml等的配置
webpack出现问题的解决方法（百试百灵，各种webpack问题解决不了的最终方案！！！）
前端路上坎坎坷坷，总有一天站在顶峰仰望世界！！！
11-30 500
1.如果package.json里没有本地安装webpack. 直接本地安装:npm install webpack --save-dev 2.如过package.json里有webpack,但是不是各个版本是别人预制好的,建议删除webpack,再重新本地安装webpack 3.最后更新node_modules文件夹:npm install ...
linux 安装 jdk
APCSZDDXM的博客
07-02 640
这里有两种方式可以在linux上安装java到官方找到对应的包，然后复制下载连接，一定要是 格式的 然后我们在 创建一个目录jdk 然后输入下面命令进行下载 这个链接更换成你自己想要下载的，我这里下载的是18版本的 下载完成之后进行解压 解压完成之后我们需要配置环境变量 注意将JAVA_HOME和JRE_HOME种的路径更换成自己的 然后让它生效 查看版本信息 如下则为成功 当然想要使用这个安装方式的前提是你有网络源，这里我就不说了，没有的自己去配把 查找java的包，我这里使用的是rhel8
linux下的软件管理
qq_43114229的博客
08-26 1049
1.Linux中软件包的类型 1.DEB #UBlinux DEBlinux 2.RPM #redhat centOS fc 3.bz2|gz|xz #1.需要源码安装需要编译 #2.绿色软件，直接可用 #ntfs-3g_ntfsprogs-2017.3.23.tgz 需要编译 “configure” #Firefox-latest-x86_64.tar.bz2 绿色 “注意在rhel8中只能使用绿色软件，源码编译软件和rpm软件” 2.软件包的名称结构 [dhcp-server]-[4.3.6-30].[
hadoop配置java环境_hadoop安装和环境配置---1
weixin_42319263的博客
02-24 1855
一.安装java1.下载 ： yum install java-1.7.0-openjdk2、配置环境变量 vim /etc/profile要先看自己安装的java全名然后再环境配置export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/export JRE_HOME=$JAVA_HOME/jreexport HADOOP_HOME=/opt/hado...
as 修改jre路径_解决hadoop namenode -format / hdfs namenode -format 找不到java的文件目录...
weixin_35717696的博客
12-23 564
报错信息如下：/opt/hadoop-2.8.1/bin/hdfs: line 305: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.141-3.b16.el6_9.i386/bin/java: 没有那个文件或目录/opt/hadoop-2.8.1/bin/hdfs: line 305: exec: /usr/lib/jvm/java-1.8.0-openjdk-1...
Hadoop安装说明
12-15
Hadoop安装说明，利用JAVA调用API及MapReduce的使用。文档为本人云计算大作业，如有错误请批评指正。
hadoop安装手册
03-12
hadoop安装手册，详细介绍如何安装配置hadoop，可按照步骤进行安装
Hadoop安装教程
05-14
Hadoop需要的安装包可以参考我的博文http://blog.csdn.net/h66295112博客里面的Spark搭建过程（小白）这一篇博文里有安装包下载地址
hadoop安装与配置
最新发布
11-06
Hadoop 安装与配置 Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理和分析领域。为了使用 Hadoop，需要安装和配置 Hadoop 环境。本文将详细介绍 Hadoop 的安装和配置过程。 下载 Hadoop 要安装 Hadoop...
hadoop安装详细文档
02-05
可以按照这个文档部署hadoop。通过hadoop详细的安装步骤。完全可以好猫画虎
Hadoop安装部署
01-11
Hadoop安装部署，把hadoop的安装部署步骤一一呈现
Hadoop安装.zip
11-12
Hadoop的单机版和伪分布式安装，连接hdfs。
HADOOP安装过程
08-21
hadoop安装过程，自己留着看，分享给大家,网络上弄的，仅供参考
./bin/hdfs: line 319: /usr/lib/jvm/java/bin/java: No such file or directory
qq_32539403的博客
11-29 9344
问题： Hadoop伪分布式配置，配置完core-site.xml 和 hdfs-site.xml后，运行命令后出现如下错误： 原因： 配置时，JDK的路径照抄照搬网上的教程，导致错误 解决方法： 重新修改hadoop-env.sh中： export = #JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191 成功结果： ...
如何在CentOS上安装Java
qq_31348479的博客
11-28 925
如何在CentOS 8上安装OpenJDK 8，OpenJDK 11和Oracle 8。
java写dnf外掛_Linux JDK 编译安装
weixin_39774044的博客
02-24 513
[Linux] JDK 编译安装概述我们在java开发时基本会使用Oracle或者一些权威的开源组织提供的JDK,很少使用自己编译的版本.但是如果你想学习JVM或者自己做一些特殊的用途,自己会编译JDK是有必要学习的.环境NameVersionArchis requiredCent OS8.2+ LTSX64YesBootstrap JDK14X64YesTarget JDK15X64Yes,下载...
CentOS8安装javaJDK
Nishino_shou的博客
04-19 861
原因： 安装时考虑了下，是直接安装openJDK还是麻烦点找javaJDK，随后考虑到了openJDK存在不完整的情况，在安全组用过open8的，缺失存在部分问题，而且两个JDK有些方法不通用，需要做兼容性处理，为了方便以后war包发布，这里直接采用了java1.8。 问题1： 采用rpm形式安装，wget方式下载的jdk //下载 wget http://download.o...
hadoop安装配制
09-11
Hadoop是一个开源的分布式计算系统，用于处理大规模数据集的分布式存储和处理。下面是Hadoop的安装步骤： 1. 下载Hadoop：你可以从Apache官方网站上下载Hadoop的最新版本。选择合适的版本和文件类型进行下载。 2. 解压Hadoop压缩包：将下载的压缩包解压到你想要安装Hadoop的路径下。 3. 配置环境变量：编辑你的环境变量文件（如.bashrc或.profile），将Hadoop的bin目录添加到PATH变量中。例如，在.bashrc文件中添加以下行： export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin 保存文件后，运行以下命令使其生效： source ~/.bashrc 4. 配置Hadoop：进入Hadoop的安装目录，在conf目录下找到core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这四个配置文件，进行必要的配置。主要配置项包括文件系统的URI、数据存储路径、任务调度器等。 5. 设置SSH无密码登录：Hadoop使用SSH来管理集群节点之间的通信，因此需要设置SSH无密码登录。确保你可以通过SSH无密码登录到本地和所有集群节点。 6. 格式化HDFS文件系统：在Hadoop安装目录下执行以下命令，格式化HDFS文件系统： hdfs namenode -format 7. 启动Hadoop集群：执行以下命令启动Hadoop集群： start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN 执行以上命令后，你可以通过Web界面访问Hadoop的各个组件。 以上是基本的Hadoop安装步骤，请根据自己的需求进行相应的配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值