hadoop安装

已于 2022-04-26 17:19:21 修改
阅读量77 收藏
点赞数
文章标签： hadoop
于 2022-04-26 17:09:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shixuefeng2410/article/details/124432285
版权

#################################
# HADOOP 3.1.3 single1 安装配置 #
#################################
cd /opt/download
ls     =>hadoop-3.1.3.tar.gz
#解压到software文件夹里
tar -zxvf /opt/download/hadoop-3.1.3.tar.gz -C /opt/software/
chown -R root:root /opt/software/hadoop313
cd /opt/software
ls     =>hadoop-3.1.3
#重命名
mv hadoop-3.1.3/ hadoop313
ls     =>hadoop313
cd hadoop313/
pwd   =>/opt/software/hadoop313

#环境变量并激活
vim /etc/profile.d/my.sh
#---------------------------------------------------------------------
#hadoop 3.1.3
export HADOOP_HOME=/opt/software/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#---------------------------------------------------------------------
#激活配置文件
source /etc/profile

#创建数据临时目录
cd /opt/software/hadoop313
mkdir data

#配置内部环境变量
   #切换到hadoop配置以下文件
cd /opt/software/hadoop313/etc/hadoop
vim hadoop-env.sh
#-----------------------------------------------------------------
export JAVA_HOME=/opt/software/jdk8   #(前面#号去掉，后面jdk8为自己software下安装的jdk名)
#-----------------------------------------------------------------


#----------------------------------------------------------
vim core-site.xml          
vim hdfs-site.xml
vim mapred-site.xml
vim yarn-site.xml
#----------------------------------------------------------

#配置核心配置文件
vim core-site.xml
#-----------------------------------------------------------------------------------
<configuration>
----------------------

<property>
    <name>fs.defaultFS</name>
<value>hdfs://single01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop/kb16</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description>Size of read/write SequenceFiles buffer: 128K</description>
</property>
----------------------

</configuration>
#----------------------------------------------------------------------------------

#更改windows本地映射
C:\Windows\System32\drivers\etc\hosts里面最后加上
192.168.245.168 single01

#配置文件系统
vim hdfs-site.xml
#--------------------------------------------------
<configuration>
----------------------

<property>
   <name>dfs.replication</name>
   <value>1</value>
   <description>Hadoop中每个block的备份数</description>
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>/opt/software/hadoop313/data/dfs/name</value>
   <description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>/opt/software/hadoop313/data/dfs/data</value>
   <description>datanode上数据块的物理存储位置</description>
</property>
<property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>single01:9869</value>
</property>

<!--权限设定避免因权限问题导致操作失败异常-->
<property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
   <description>关闭权限验证</description>
</property>

----------------------
</configuration>
#-----------------------------------------------

#计算框架配置
vim mapred-site.xml
#-----------------------------------------------------------------------------
<configuration>
----------------------
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   <description>job执行框架：local, classic or yarn.</description>
   <final>true</final>
</property>
<property>
   <name>mapreduce.application.classpath</name>
   <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

<!--job history单节点配置即可-->
<property>
   <name>mapreduce.jobhistory.address</name>
   <value>single01:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>single01:19888</value>
</property>

<!--Container内存上限,由nodemanager读取并控制,实际使用超出时会被nodemanager kill Connection reset by peer-->
<property>
   <name>mapreduce.map.memory.mb</name>
   <value>1024</value>
</property>
<property>
   <name>mapreduce.reduce.memory.mb</name>
   <value>2048</value>
</property>
----------------------
</configuration>
#-----------------------------------------------------------------------------

#调度框架配置vim yarn-site.xml

#---------------------------------------------------------------
<configuration>
<!-- Site specific YARN configuration properties -->
----------------------

<!-- Resource Manager Configs -->
<property>
   <name>yarn.resourcemanager.connect.retry-interval.ms</name>
   <value>10000</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.class</name>
   <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

<!-- Node Manager Configs-->
<property>
   <description>Address where the localizer IPC is. ********* </description>
   <name>yarn.nodemanager.localizer.address</name>
   <value>single01:8040</value>
</property>
<property>
   <description>Address where the localizer IPC is. ********* </description>
   <name>yarn.nodemanager.address</name>
   <value>single01:8050</value>
</property>
<property>
   <description>NM Webapp address. ********* </description>
   <name>yarn.nodemanager.webapp.address</name>
   <value>single01:8042</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.local-dirs</name>
   <value>/tmp/hadoop/yarn/local</value>
</property>
<property>
   <name>yarn.nodemanager.log-dirs</name>
   <value>/tmp/hadoop/yarn/log</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>
<property>
   <name>yarn.application.classpath</name>
   <value>$HADOOP_HOME/etc/hadoop:$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/hdfs:$HADOOP_HOME/share/hadoop/hdfs/lib/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/yarn:$HADOOP_HOME/share/hadoop/yarn/lib/*:$HADOOP_HOME/share/hadoop/yarn/*</value>
</property>
<property>
   <name>yarn.nodemanager.env-whitelist</name>
   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

----------------------
</configuration>
#---------------------------------------------------------------

首次开启要格式化

格式化：hdfs namenode -format
#以后开启要格式化，格式化前要删除下面两个文件
#删除data下面的文件
#删除data下面的文件
cd /opt/software/hadoop313       切换到hadoop313目录
rm -rf data/*  删除hadoop313/data/下面的文件
rm -rf tmp/hadoop/*

namenode下的日志：/opt/software/hadoop313/data/dfs/name/current/fsimage...
secondarynamenode下的日志：  kb16/dfs/namesecondary/current/fsimage...
当namedode里面的edits.log达到一定数量和时间时，会把edits.log和当前最新的fsimage传一份给secondarynamenode，由secondarynamenode合成出一份新的fsimage，在把新的fsimage同步到namedode里面；每次重启时会加载namenode里的fsimage,但还有部分最新的edits_...
#格式化：
hdfs namenode -format
      
 #从第二次开始
     #一次性启动和关闭不推荐
    stop-all.sh
    start-all.sh

    #【推荐】启动和关闭hdfs和yarn方式
    start-dfs.sh
        NN=>  load fsimage_0000000        目录，文件名称及依赖关系
              load edit_inprogress_000-未来得及合并的日志记录
        Tree
    start-yarn.sh

    stop-dfs.sh
    stop-yarn.sh

    #启动|关闭job historyserver方式
    mapred --daemon start|stop historyserver
    
    mapred --daemon start historyserver
    mapred --daemon stop historyserver


#web访问hadoop状态
192.168.43.200:9870 hdfs    50070
192.168.43.200:19888 history server
192.168.43.200:8088 application monitoring

SXF2410
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop安装
12-05
详细的介绍了如何建立计算机集群的Hadoop分布式计算机平台的创建，用3个虚拟机进行集群,Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理.
Hadoop使用常见问题以及解决方法 .
管子（zero）的杂乱空间
12-25 563
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/security...
Hadoop伪分布式的安装配置步骤
浅时光|初如梦
08-28 4114
1.配置步骤 1. 安装JDK 2. 关闭防火墙 3. 修改主机名。Hadoop要求主机名中不能出现 - 或者_ 等特殊字符 vim /etc/sysconfig/network 修改HOSTNAME，例如 HOSTNAME=hadoop01 保存退出，然后重新生效 source /etc/sysconfig/network 4. 需要将主机名和IP进行映射 vim /etc/hosts 将之前的内容全部删除 添加IP 主机名映射，例如 127....
HDFS 和 YARN 的 HA 故障切换
Zephyr's Blog
01-01 1万+
一 非 HDFS HA 集群转换成 HA 集群 二 HDFS 的 HA 自动切换命令 1 获得当前 NameNode 的 active 和 standby 状态 2 NameNode 的 active 和 standby 状态切换 3 HDFS HA自动切换比手工切换多出来的步骤 三 ResourceManager 的 HA 自动切换命令 1 获得当前 RM 的 active 和 standb
Hadoop单机版安装（保姆级教学）
m0_62370232的博客
05-12 9804
Hadoop单机版（保姆级教学），希望能给你带来帮助。
超详细Hadoop安装教程（单机版、伪分布式）
kunkun的博客
04-17 5976
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop安装说明
12-15
Hadoop安装说明，利用JAVA调用API及MapReduce的使用。文档为本人云计算大作业，如有错误请批评指正。
hadoop安装手册
03-12
hadoop安装手册，详细介绍如何安装配置hadoop，可按照步骤进行安装
Hadoop单机配置
w271255278的专栏
03-14 4845
hadoop单机配置记录 1、配置环境 1)VMware虚拟机，centos7最小化安装 2、centos最小化安装默认不开启网络 1)开启网络 命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 #版本不同最后文件名略有不同 修改最后一行ONBOOT=yes 2)重启网络服务 命令：service network restart 3)查看ip 命令：ip add 3、开启ssh服务 ...
【云平台技术】Hadoop全分布式安装与配置
qq_51941741的博客
06-29 8440
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK（所有虚拟机都要操作） 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK
Hadoop单机版安装
qq_42773076的博客
09-23 4200
hadoop单机版安装流程如下： 创建一个用于管理hadood的用户（可新建或者使用已有的用户） 安装并配置ssh免密码登陆 安装Java环境 下载hadoop并配置环境变量 配置相关的Hadoop配置 验证hadoop安装并启动 创建先的用的用户 没有用户则通过useradd username # 用户名 passwd username # 设置密码 已存在可用的用户则直接切换当前用户：su username 安装并配置ssh免密码登陆 使用ssh-keygen -t rsa 或 注：使用ssh-ke
单机Hadoop配置
ruoxi356的博客
12-07 699
5个配置hadoop-env core-site hdfs-site mapred-site yarn-site
Hadoop单机安装详细步骤
Spring , Hadoop, Spark , BI , ML
07-11 8492
环境准备安装Java过程简单，这里省略具体安装步骤。安装后确认相应版本的Java已安装，这里选择1.7。java -version创建Hadoop账号为Hadoop创建一个专门的账号是很好的实践：sudo adduser hadoop sudo passwd hadoop授予 Hadoop root权限 为了测试，图方便，这里给Hadoop root权限，生产环境不建议这样做。 使用root权限
hadoop单机版安装方法
最新发布
qq_37837461的博客
03-29 345
下载Hadoop安装包： 前往Apache Hadoop官网（https://hadoop.apache.org）下载最新的Hadoop安装包。如果需要处理更大规模的数据，建议使用Hadoop的分布式模式。可以使用Hadoop提供的命令行工具或开发自己的应用程序来使用Hadoop。验证Hadoop安装： 在浏览器中访问http://localhost:9870，应该能够看到Hadoop管理页面。将/path/to/your/hadoop/directory替换为你解压Hadoop安装包的路径。
单机模式的hadoop安装
qq_46073104的博客
07-20 1572
单机模式下的hadoop安装
Hadoop单机安装
letterss的博客
11-16 1824
JDK 的安装 将下载好的 jdk 文件放到/usr/local，配置环境变量 vim /etc/profileexport JAVA_HOME=/usr/local/jdk1.8.0_211 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=$JAVA_HOME/lib Hadoop 的安装 官网下载Hadoop,下载到/usr/local 目录下并解压并在 /etc/profile文件中配置环境变量 export HADOOP_HOME=/.
hadoop组件的安装（单机）
qq_61476788的博客
12-25 561
hadoop单机安装
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoop安装配制
09-11
6. 格式化HDFS文件系统：在Hadoop安装目录下执行以下命令，格式化HDFS文件系统： hdfs namenode -format 7. 启动Hadoop集群：执行以下命令启动Hadoop集群： start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值