CentOS 安装 Hadoop Local (Standalone) Mode 单机模式

已于 2023-11-02 13:01:23 修改
阅读量3.8w 收藏
点赞数
分类专栏： 大数据 Java 数据分析 文章标签： centos hadoop linux
于 2023-10-30 16:05:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24330181/article/details/134121594
版权
大数据 同时被 3 个专栏收录
134 篇文章 8 订阅
订阅专栏
Java
59 篇文章 2 订阅
订阅专栏
数据分析
38 篇文章 0 订阅
订阅专栏

CentOS 安装 Hadoop Local (Standalone) Mode 单机模式

Hadoop Local (Standalone) Mode 单机模式

1. 升级内核和软件

yum -y update

2. 安装常用软件

yum -y install gcc gcc-c++ autoconf automake cmake make \
 zlib zlib-devel openssl openssl-devel pcre-devel \
 rsync openssh-server vim man zip unzip net-tools tcpdump lrzsz tar wget

3. 关闭防火墙

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0

systemctl stop firewalld
systemctl disable firewalld

4. 修改主机名和IP地址

hostnamectl set-hostname hadoop

vim /etc/sysconfig/network-scripts/ifcfg-ens32

参考如下：

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens32"
UUID="61b382ca-cdf2-47dc-b9b4-01ea57c805d7"
DEVICE="ens32"
ONBOOT="yes"
IPADDR="192.168.171.10"
PREFIX="24"
GATEWAY="192.168.171.2"
DNS1="192.168.171.2"
IPV6_PRIVACY="no"

5. 修改hosts配置文件

vim /etc/hosts

修改内容如下：

192.168.171.10	hadoop

重启系统

reboot

6. 下载安装JDK和Hadoop并配置环境变量

创建软件目录

mkdir -p /opt/soft

进入软件目录

cd /opt/soft

下载 JDK

wget https://download.oracle.com/otn/java/jdk/8u391-b13/b291ca3e0c8548b5a51d5a5f50063037/jdk-8u391-linux-x64.tar.gz?AuthParam=1698206552_11c0bb831efdf87adfd187b0e4ccf970

下载 hadoop

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

解压 JDK 修改名称

tar -zxvf jdk-8u391-linux-x64.tar.gz -C /opt/soft/

mv jdk1.8.0_391/ jdk-8

解压 hadoop 修改名称

tar -zxvf hadoop-3.3.5.tar.gz -C /opt/soft/

mv hadoop-3.3.5/ hadoop-3

配置环境变量

vim /etc/profile.d/my_env.sh

编写以下内容：

export JAVA_HOME=/opt/soft/jdk-8
export set JAVA_OPTS="--add-opens java.base/java.lang=ALL-UNNAMED"

export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
export HADOOP_SHELL_EXECNAME=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export HADOOP_HOME=/opt/soft/hadoop-3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生成新的环境变量

source /etc/profile

7. 配置ssh免密钥登录

创建本地秘钥并将公共秘钥写入认证文件

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

ssh-copy-id root@hadoop

# 远程登录自己
ssh hadoop
# Are you sure you want to continue connecting (yes/no)? 此处输入yes
# 登录成功后exit或者logout返回
exit

8. 修改配置文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

workers

mapred-site.xml

yarn-site.xml

hadoop-env.sh

hadoop-env.sh 文件末尾追加

export JAVA_HOME=/opt/soft/jdk-8
export set JAVA_OPTS="--add-opens java.base/java.lang=ALL-UNNAMED"

export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
export HADOOP_SHELL_EXECNAME=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop_data</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
</configuration>

hdfs.site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop:50090</value>
    </property>
</configuration>

workers

注意：

​ hadoop2.x中该文件名为slaves

​ hadoop3.x中该文件名为workers

hadoop

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

9. 初始化集群

# 格式化文件系统
hdfs namenode -format
# 启动 NameNode SecondaryNameNode DataNode 
start-dfs.sh
# 查看启动进程
jps
# 看到 DataNode SecondaryNameNode NameNode 三个进程代表启动成功

# 启动 ResourceManager daemon 和 NodeManager
start-yarn.sh
# 看到 DataNode NodeManager SecondaryNameNode NameNode ResourceManager 五个进程代表启动成功

重点提示：

# 关机之前 依关闭服务
stop-yarn.sh
stop-dfs.sh
# 开机后 依次开启服务
start-dfs.sh
start-yarn.sh

或者

# 关机之前关闭服务
stop-all.sh
# 开机后开启服务
start-all.sh

#jps 检查进程正常后开启胡哦关闭在再做其它操作

10. 修改windows下hosts文件

C:\Windows\System32\drivers\etc\hosts

追加以下内容：

192.168.171.10	hadoop
192.168.171.11	spark01
192.168.171.12	spark02
192.168.171.13	spark03

Windows11 注意 修改权限

  1. 开始搜索 cmd

    找到命令头提示符 以管理身份运行

    cmd
    cmd

  2. 进入 C:\Windows\System32\drivers\etc 目录

    cd drivers/etc

    cmd

  3. 打开 hosts 配置文件

    start hosts

    hosts

  4. 追加以下内容后保存

    192.168.171.101	hadoop101
192.168.171.102	hadoop102
192.168.171.103	hadoop103

11. 测试

浏览器访问: http://hadoop:9870

namenode

浏览器访问:http://hadoop:50090/

secondary namenode

浏览器访问:http://hadoop:8088

secondary namenode

11.1 测试 hdfs

本地文件系统创建 测试文件 wcdata.txt

vim wcdata.txt

Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive
FlinkHBase Flink
Hive StormHive Flink HadoopHBase
HiveHadoop Spark HBase StormHBase
Hadoop Hive FlinkHBase Flink Hive StormHive
Flink HadoopHBase Hive
Spark HBaseHive Flink
Storm Hadoop HBase SparkFlinkHBase
StormHBase Hadoop Hive

在 HDFS 上创建目录 /wordcount/input

hdfs dfs -mkdir -p /wordcount/input

查看 HDFS 目录结构

hdfs dfs -ls /

hdfs dfs -ls /wordcount

hdfs dfs -ls /wordcount/input

上传本地测试文件 wcdata.txt 到 HDFS 上 /wordcount/input

hdfs dfs -put wcdata.txt /wordcount/input

检查文件是否上传成功

hdfs dfs -ls /wordcount/input

hdfs dfs -cat /wordcount/input/wcdata.txt

11.2 测试 mapreduce

计算 PI 的值

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar pi 10 10

单词统计

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar wordcount /wordcount/input/wcdata.txt /wordcount/result

hdfs dfs -ls /wordcount/result

hdfs dfs -cat /wordcount/result/part-r-00000
李昊哲小课
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
centos安装hadoop超级详细
09-20
在centos环境下安装hadoop。有详细的过程，代码分析。还有详细的操作逻辑。
CentOS7下Hadoop3.2.1的安装与部署（单机模式）
embelfe_segge的博客
03-25 427
安装准备 下载Hadoop安装包 下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common 本例中，我下载的是当前最新的稳定版本 hadoop-3.2.1.tar.gz 。 下载JDK 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 先执行如下命令，查看自己Linux服务器的操作系统位数，下载适用的JDK安装包。 [root@localhost ~]# g
一、Hadoop单机版standalone的安装与配置(Hadoop1.2.1，CentOS6.5)
The magic of fingertips
10-29 2305
一、安装jdk     1、下载bin包，自行下载，上传到CentOS6.5中，     2、安装bin包，         # chmod 755 jdk-6u27-linux-x64-rpm.bin         # ./jdk-6u27-linux-x64-rpm.bin     3、配置环境变量         # vi /etc/profile         添加如下
CentOS 7部署Hadoop（单机版）
Niclas的博客
10-03 3245
目录 测试环境 Hadoop部署方式介绍 安装CentOS 7 配置Java环境 Hadoop单机版安装 Hadoop环境变量配置 测试 测试环境 Linux系统版本：CentOS 7 64位 Hadoop版本：hadoop-2.7.3 Java版本：jdk-8u181-linux-x64 Hadoop部署方式介绍 Hadoop部署方式分三种：Standalone Mod...
centos7 hadoop 单机模式安装配置
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
05-07 1万+
转载请务必注明原创地址为：http://dongkelun.com/2018/03/23/hadoopConf/ 前言 由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群，离开公司之后，自己就不能用了，后来用ambari搭的三台虚拟机的集群太卡了，所以就上网查了一下hadoop+hive的单机部署，以便自己能进行简单的学习，这里记录一下，本来想......
Centos7 安装Hadoop3 单机版本（伪分布式版本）
zhouzhiwengang的专栏
02-12 1111
切换至Hadoop配置文件所在目录/usr/local/hadoop/etc/hadoop,修改其中的hadoop-env.sh文件。切换至Hadoop配置文件所在目录/usr/local/hadoop/etc/hadoop,修改其中的core-site.xml文件。切换至Hadoop配置文件所在目录/usr/local/hadoop/etc/hadoop,修改其中的hdfs-site.xml文件。将JDK的安装目录/usr/local/jdk 配置到/etc/profile的PATH环境变量中。
3. CentOS 7 安装 hadoop
博客简介
04-04 1690
准备阶段 1.判断是否已安装JDK，若无则安装，若有则进入正题。 # java -version JDK安装详解https://blog.csdn.net/qq_53715214/article/details/123890380?spm=1001.2014.3001.5502 2.hadoop 安装 进入设置好共享的文件夹下进行解压移动 hadoop # vmhgfs-fuse .host:/ /mnt/hgfs 挂载共享文件夹 # ..
centos7上部署单机模式和伪分布式模式Hadoop2.6
积小流成江河
07-26 421
Hadoop集群的部署方式方式分为三种，分别是独立模式（Standalone mode）、伪分布式模式（Pseudo-Distributed mode）、完全分布式模式（Cluster mode），具体介绍如下。 （1）独立模式：又称为单机模式，在该模式下，无需运行任何守护进程，所有的程序都在单个JVM上执行。独立模式下调试Hadoop集群的MapReduce程序非常方便，所以一般情况下，该模式在学习或者开发阶段调试使用。 （2）伪分布式模式：Hadoop程序的守护进程运行在一台节点上，通常使用伪分布式模式
Centos7部署hadoop（单机）
最新发布
f12x34q56的博客
02-02 1350
将hadoop-3.3.6.tar.gz文件上传到/home/hadoop文件夹，然后使用tar -xvf hadoop-3.3.6.tar.gz 解压文件，并使用mv hadoop-3.3.6 hadoop更改文件夹名。进入/home/hadoop/hadoop/etc/hadoop查看目录下的文件，配置几个必要的文件。将jdk-8u341-linux-x64.rpm上传到/user/local文件夹中，并执行。进入/home/hadoop/hadoop/bin路径。
【CentOS】安装 Hadoop （单机版）
懂得一千零一种,赋予你失败的方法！
02-20 1670
文章目录 环境准备 装有jdk的可上网虚拟机 hadoop-2.7.1.tar.gz 安装包 返回顶部
第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）.zip
12-21
搭建hadoop单机版+hbase单机版+pinpoint整合springboot 第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署
centos安装配置hadoop超详细过程.docx
05-19
centos安装配置hadoop超详细过程.docx
centos 安装 hadoop
02-25
centos 安装 hadoop 超详细
CentOS7 Hadoop单机安装教程
01-26
1、了解linux 2、了解虚拟机或者云服务器 3、懂java
CentOS安装Hadoop单机版
m0_67391683的博客
03-31 2440
1、首先安装jdk 下载jdk-7u45-linux-x64.tar.gz 地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg 提取码3z6s 放到/usr/local目录下 解压jdk， tar -zxvfjdk-7u45-linux-x64.tar.gz 配置环境变量 vim /etc/profile 在文件末尾加上 JAVA_HOME=/usr/local/jdk1.7.0_45 export JAVA_HOME export PATH=JAVA_H
hadoop三种模式搭建安装-vbox-openEuler、centos
Siobhan_Mxin的博客
03-09 1909
Hadoop三种模式的安装搭建（单机模式、伪分布模式、完全分布式）
Centos中安装配置local/standalone模式和伪分布式模式hadoop集群
GZWXHCN
11-19 364
Centos中安装配置local/standalone模式和伪分布式模式hadoop集群 1. 查看并验证/etc/hosts和/etc/hostname文件 Cat /etc/hostname Cat /etc/hosts 新建linux用户hadoop，该用户专门用来操作hadoop集群 su Useradd hadoop Passwd hadoop Su hadoop 为ha
Centos Linux 安装单机 Hadoop（HDFS）
寒水馨
10-05 1864
Centos Linux 安装单机 Hadoop（HDFS）、Centos、Linux、Hadoop、HDFS、Yarn、大数据、Apache、MapReduce
centos安装Hadoop
09-10
### 回答1： 以下是在 CentOS 上安装 Hadoop 的步骤： 1. 安装 Java 首先，您需要安装 Java。在 CentOS 上，您可以使用以下命令安装 OpenJDK： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载和解压 Hadoop 您可以从 Hadoop 官方网站下载最新的 Hadoop 发行版。下载完成后，您可以使用以下命令解压缩文件： ``` tar -zxvf hadoop-x.x.x.tar.gz ``` 3. 配置 Hadoop 进入 Hadoop 目录，编辑 core-site.xml 文件： ``` cd hadoop-x.x.x cd etc/hadoop sudo nano core-site.xml ``` 在文件中添加以下配置： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 然后编辑 hdfs-site.xml 文件： ``` sudo nano hdfs-site.xml ``` 在文件中添加以下配置： ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///home/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///home/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` 将 "/home/hadoop/hadoop_data" 替换为您要用于存储 Hadoop 数据的实际目录。 最后，编辑 mapred-site.xml 文件： ``` sudo cp mapred-site.xml.template mapred-site.xml sudo nano mapred-site.xml ``` 在文件中添加以下配置： ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 4. 配置环境变量 打开 .bashrc 文件： ``` nano ~/.bashrc ``` 在文件末尾添加以下内容： ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 将 "/path/to/hadoop" 替换为实际的 Hadoop 安装路径。 5. 启动 Hadoop 使用以下命令格式启动 Hadoop： ``` start-dfs.sh start-yarn.sh ``` 这将启动 HDFS 和 YARN。 6. 检查 Hadoop 是否正常运行 您可以使用以下命令检查 Hadoop 是否正在运行： ``` jps ``` 如果一切正常，您应该看到以下进程： ``` DataNode NameNode ResourceManager SecondaryNameNode NodeManager ``` 这就是在 CentOS 上安装 Hadoop 的基本步骤。请注意，在实际生产环境中，您需要进行更多的配置和安全性设置。 ### 回答2： CentOS系统是一种广泛使用的Linux发行版，Hadoop是一个开源分布式计算平台。下面是在CentOS系统上安装Hadoop的步骤： 1. 在CentOS系统上安装Java Development Kit（JDK）。Hadoop依赖于Java，因此需要先安装JDK。可以通过命令`sudo yum install java-devel`进行安装。 2. 下载Hadoop的压缩包。可以从Hadoop官方网站（https://hadoop.apache.org/releases.html）下载最新版本的Hadoop。 3. 解压Hadoop压缩包。可以使用命令`tar -zxvf hadoop-<version>.tar.gz`来解压，其中`<version>`是下载的Hadoop版本号。 4. 配置Hadoop环境变量。打开文件`~/.bashrc`，在末尾添加以下内容： ``` # Hadoop export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin ``` 这里将`/path/to/hadoop`替换为解压后Hadoop的目录路径。 5. 配置Hadoop文件。进入Hadoop的具体目录，打开文件`etc/hadoop/hadoop-env.sh`，找到并修改以下行： ``` export JAVA_HOME=/usr/lib/jvm/java-<version>-openjdk ``` 将上述`<version>`替换为安装的Java版本号。 6. 配置Hadoop集群。在`etc/hadoop`目录中找到并编辑文件`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`，根据需求进行对应的配置。 7. 格式化Hadoop文件系统。运行命令`hdfs namenode -format`来格式化Hadoop文件系统。 8. 启动Hadoop集群。运行命令`start-dfs.sh`来启动Hadoop的分布式文件系统（HDFS），然后运行命令`start-yarn.sh`来启动YARN资源管理器。 完成上述步骤后，Hadoop将成功安装在CentOS系统上。可以通过访问相关的Web界面来管理和监控Hadoop集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李昊哲小课

桃李不言下自成蹊

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值