Hadoop

已于 2022-06-08 10:58:41 修改
阅读量334 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： hadoop hdfs big data
于 2022-06-08 10:57:46 首次发布
-------本文为博主Muu原创,未经博主允许禁止转载, 如有问题,欢迎指正-------
本文链接：https://blog.csdn.net/tenyearsWait/article/details/125180385
版权

Hadoop

Hadoop 技术细节

HDFS

  1. HDFS 是Hadoop提供的一套用于分布式存储的文件系统

  2. 为了方便使用 仿照Liunx系统设计的文件系统

  3. HDFS的基本结构是典型的的主从结构- NameNode(主节点) 和 DataNode(从节点)

  4. HDFS在存储文件的时候会将文件进行物理切分 - Hadoop2.0版本之后所切分的每一个Block是 128MB 1.0: 64MB

  5. 在HDFS中会自动的对数据进行备份, 这个备份称之为副本, 在完全分布式中默认的副本数量为3, 但在伪分布式场景中副本数量只能为1

  6. 常用命令

    命令功能
    hadoop fs -put /home/hello.txt /hello.txt将当前目录下的test.txt上传到HDFS的根目录下
    hadoop fs -get /hello.txt /home/将HDFS根目录中的hello.txt 下载/home/文件夹下
    hadoop fs -mkdir /log在HDFS的根目录下创建一个名为log的文件夹
    hadoop fs -mv /hello.txt /world.txt重命名文件 hello.txt 为 world.txt
    hadoop fs -cp /hello.txt /hello.txt.bak复制粘贴并重命名
    hadoop fs -ls /查看根目录下所有文件
    hadoop fs -rmdir /log删除文件夹(需该文件夹为空)
    hadoop fs -rm /log/test1.txt删除文件

Block

  1. Block是HDFS中数据存储的基本单位, 即一个文件在HDFS中是由一个或者多个Block组成
  2. Block的大小默认是128MB
  3. 如果一个文件本身不到Block的大小, 那么这个文件是多大对应的BLock就是多大
  4. HDFS会对Block进行编号 — BlockID
  5. 切块的意义：
    1. 能够存储操大文件
    2. 能够快速的备份

NameNode

  1. NameNode 是HDFS中的主节点（核心）
  2. NameNode的职责:
    1. 管理DataNode
    2. 记录元数据(metadata)
  3. 元数据包含:
    1. 文件的存储位置
    2. 文件的权限
    3. 文件的大小
    4. Block的大小
    5. BlockID
    6. 副本数量
    7. BlockID和DataNode的映射关系
  4. 元数据是存储在磁盘和内存中
    1. 在内存中的目的是查询块
    2. 在磁盘中的目的是为了崩溃恢复
  5. NameNode通过心跳机制来管理DataNode
  6. 默认情况下DataNode发送心跳每隔3s给NameNode 发送心跳

DataNdoe - 从节点

  1. 负责数据的存储 - 存储的是 Block
  2. DataNode将Block村粗在磁盘上, 在磁盘上的位置是有hadoop.tmp.dir属性决定的, 会在dfs/data目录下存储
  3. DataNode会定时的向NameNOde发送心跳

SecondaryNameNode

  1. 到目前位置HDFS集群只能是NameNode + SecondaryNameNode结构或者双NameNode结构
  2. 实际开发中 采用的是双 NameNode结构

垃圾回收机制

  1. 在HDFS中回收站策略默认是不开启的, 即意味着删除文件这个操作会立即生效, 无法撤回

  2. 如果需要开启回收站策略那么需要在core-site.xml文件中配置

    <!-- 配置回收站清理垃圾的间隔时间 -->
<property>
     <!-- 表示垃圾放入回收站会暂存 -->
    <name>fs.trash.interval</name>
   	 <!-- 1440分钟
		表示垃圾会放入回收站暂存一天
		如果超过一天还没有被还原, 那么原则上就会被清理掉
	-->
    <value>1440</value>
</property>

  3. 如果需要还原, 则需要执行命令

    hadoop fs -mv hdfs://hadoop01:9000/user/root/.Trash/Current/text.txt /

Hadoop伪分布式配置

进入Hadoop的安装子目录 /etc/hadoop 配置hadoop

进入 hadoop 配置文件路径

配置静态ip
# 编辑网络配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
# 编辑文件内容
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static  # 将dhcp(动态获取) 更改为static(静态ip)
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=a744833b-cd92-4d98-ad1c-a499148cb68e
DEVICE=ens33
ONBOOT=yes
HWADDR=00:0C:29:F2:5C:9D
# 设置静态ip信息
IPADDR=192.168.168.128
NETMASK=255.255.255.0
GATEWAY=192.168.168.2
DNS1=114.114.114.114
DNS2=8.8.8.8

# 重启网卡服务
service network restart
更改配置文件
配置hadoop-env.sh
# 进入编辑
vi hadoop-env.sh

更改内容

# 1. 配置JAVA_HOME的路径:       25 
export JAVA_HOME=/home/software/jdk1.8
# 2. 配置HADOOP_CONF_DIR的路径: 33
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.6/etc/hadoop

配置完成之后保存并退出之后重新生效:

source hadoop-env.sh
配置core-site.xml

  1. 编辑core-site.xml文件

    添加配置:

    <property>
    <!-- 指定HDFS的主节点 -->
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<property>
    <!-- 执行hadoop运行时的数据存储目录 -->
    <name>hadoop.tmp.dir</name>
    <value>/home/software/hadoop-2.7.6/tmp</value>
</property>
配置hdfs-site.xml

  1. 编辑hdfs-site.xml文件

  2. 添加配置:

    <property>
    <!-- 设置HDFS的副本数量 -->
    <!-- 在伪分布式的场景下副本数量只能为1 -->
    <name>dfs.replication</name>
    <value>1</value>
</property>
配置mapred-site.xml

  1. 将mapred-site.xml.template复制为mapred-site.xml:

    cp mapred-site.xml.template mapred-site.xml

  2. 编辑mapred-site.xml并且添加配置

    <property>
    <!-- 指定将MapReduce程序在Yarn上运行 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
编辑yarn-site.xml

  1. 编辑yarn-site.xml:

    vim yarn-site.xml

  2. 添加配置:

    <property>
    <!-- 指定Yarn的主节点 -->
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>
<property>
    <!-- NodeManager的数据获取方式 -->
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
编辑slaves

  1. 添加从节点信息:

    hadoop01
配置profile

编辑hadoop的环境变量

# hadoop
export HADOOP_HOME=/home/software/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使其重新生效

source /etc/profile
格式化NameNode
hadoop namenode -format
启动Hadoop
start-all.sh
hadoop启动后进程
10449 Jps
9907 SecondaryNameNode
9620 NameNode
9718 DataNode
10056 ResourceManager
10152 NodeManager

可以通过在浏览器上输入http://192.168.112.128:50070/访问web监控页面.

zookeeper

安装

单机模式
1. 关闭防火墙

2. 解压Zookeeper的安装包

	1. tar 

3. 进入配置目录

```shell
cd /home/software/zookeeper-3.4.7/conf
```

4. 编辑配置文件

	1. 编辑 **zoo_sample.cfg**

    	1. 复制并重命名 cp zoo_sample.cfg zoo.cfg

    	2. 编辑**zoo.cfg**文件

        ```shell
        :12
        dataDir=/home/software/zookeeper-3.4.7/tmp
        ```

5. 启动zookeeper

```shell
sh zkServer.sh start
```

6. 检查zookeeper状态

```shell
sh zkServer.sh status
```

7. 进入客户端

```shell
sh zkCli.sh
```

8. 查看文件目录

```shell
ls /
# [zookeeper]
```

9. 关闭zookeeper进程

```shell
sh zkServer.sh stop
```

​

完全分布式
# 主节点分发zookeeper文件
# 默认分发的zookeeper已经配置好了zoo.cfg 的 datadir字段
scp -r zookeeper-3.4.7 root@hadoop03:/home/software/
# 编辑conf/zoo.cfg:
# 在最下方添加内容
server.1=192.168.61.130:2888:3888
server.2=192.168.61.128:2888:3888
server.3=192.168.61.129:2888:3888
# 编辑tmp/myid:
添加每个节点的序号
# 启动集群
# 进入bin目录同时执行以下命令
sh zkServer.sh start
# 查看集群状态
sh zkServer.sh status
# 如果出现两种mode: 俩follower 和一个 leader 即为成功启动

Hadoop完全分布式

1. 三个节点关闭防火墙
2. 三个节点修改主机名称
1. 编辑文件**hostnames**:

    ```shell
    # 打开并编辑对应文件
    vi /etc/hostnames
    # 修改为对应的主机名
    hadoop01
    hadoop02
    hadoop03
    ```

2. 编辑文件**hosts**, 设置地址映射

    ```shell
    # 打开并编辑对应文件
    vim /etc/hosts
    # 添加内容
    192.168.61.130 hadoop01
    192.168.61.128 hadoop02
    192.168.61.129 hadoop03
    ```
3. 三个节点重新启动用于加载系统配置
4. 三个节点需要配置免密互通
# 三个节点同时操作
# 生成秘钥
ssh-keygen
# 分发秘钥
ssh-copy-id root@hadoop01
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03
# 测试 依次执行
ssh hadoop02
ssh hadoop03
ssh hadoop01
# 退出 
exit
5. 更改配置文件
编辑hadoop-env.sh
# 进入编辑
vi hadoop-env.sh

更改内容

# 1. 配置JAVA_HOME的路径:       25 
export JAVA_HOME=/home/software/jdk1.8
# 2. 配置HADOOP_CONF_DIR的路径: 33
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.6/etc/hadoop

配置完成之后保存并退出之后重新生效:

source hadoop-env.sh
编辑slaves

  1. 添加从节点信息:

    hadoop01
hadoop02
hadoop03
编辑core-site.xml

  1. 编辑core-site.xml文件

    添加配置:

        <property>
        <!-- 指定在Zookeeper上注册的节点名称 -->
        <name>fs.defaultFS</name>
        <value>hdfs://ns</value>
    </property>
    <property>
        <!-- 执行hadoop运行时的数据存储目录 -->
        <name>hadoop.tmp.dir</name>
        <value>/home/software/hadoop-2.7.6/tmp</value>
    </property>
    <property>
        <!-- 制定Hadoop数据存储的目录 -->
        <name>ha.zookeeper.quorum</name>
        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
    </property>
编辑hdfs-site.xml

  1. 编辑hdfs-site.xml文件

  2. 添加配置:

    	<property>
        <!-- 绑定在Zookepser上注册的节点名称 -->
        <name>dfs.nameservices</name>
        <value>ns</value> <!-- 与core-site.xml中配置的fs.defaultFS的value相同 -->
    </property>
    <property>
        <!-- ns集群下有两个namenode，分别为nn1, nn2 -->
        <name>dfs.ha.namenodes.ns</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <!-- nn1的RPC通信 -->
        <name>dfs.namenode.rpc-address.ns.nn1</name>
        <value>hadoop01:9000</value>
    </property>
    <property>
        <!-- nn1的http通信 -->
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>hadoop01:50070</value>
    </property>
    <property>
        <!-- nn2的RPC通信地址 -->
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>hadoop02:9000</value>
    </property>
    <property>
        <!-- nn2的http通信地址 -->
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>hadoop02:50070</value>
    </property>
    <property>
        <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/software/hadoop-2.7.6/tmp/journal</value>
    </property>
    <property>
        <!--
		指定namenode的元数据在JournalNode上存放的位置，
		这样，namenode2可以从journalnode集群里的指定位置上获取信息，
		达到热备效果
		-->
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns</value>
    </property>
    <property>
        <!-- 开启NameNode故障时自动切换 -->
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
         <!-- 配置失败自动切换实现方式 -->
        <name>dfs.client.failover.proxy.provider.ns</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <!-- 配置隔离机制 -->
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
         <!-- 使用隔离机制时需要ssh免登陆 -->
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>    
        <!--配置namenode存放元数据的目录，可以不配置，如果不配置则默认放到hadoop.tmp.dir下-->
        <name>dfs.namenode.name.dir</name>    
        <value>file:///home/software/hadoop-2.7.6/tmp/hdfs/name</value>    
    </property>    
    <property>    
        <!--配置datanode存放元数据的目录，可以不配置，如果不配置则默认放到hadoop.tmp.dir下-->
        <name>dfs.datanode.data.dir</name>    
        <value>file:///home/software/hadoop-2.7.6/tmp/hdfs/data</value>    
    </property>
    <property>    
         <!--配置副本数量-->    
        <name>dfs.replication</name>    
        <value>3</value>    
    </property>
    <property>    
        <!--设置用户的操作权限，false表示关闭权限验证，任何用户都可以操作-->            
        <name>dfs.permissions</name>    
        <value>false</value>    
    </property>
编辑yarn-site.xml

  1. 编辑yarn-site.xml:

    vim yarn-site.xml

  2. 添加配置:

        <!--配置yarn的高可用-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--指定两个resourcemaneger的名称-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!--配置rm1的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop01</value>
    </property>
    <!--配置rm2的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop03</value>
    </property>
    <!--开启yarn恢复机制-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--执行rm恢复机制实现类-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!--配置zookeeper的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
    </property>
    <!--执行yarn集群的别名-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>ns-yarn</value>
    </property>
    <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
    <property>
        <!-- NodeManager的数据获取方式 -->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property> 
    <!-- 指定resourcemanager地址 -->
    <property>
        <!-- 指定Yarn的主节点 -->
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop03</value>
    </property>
    编辑mapred-site.xml

    1. 将mapred-site.xml.template复制为mapred-site.xml:

      cp mapred-site.xml.template mapred-site.xml

    2. 编辑mapred-site.xml并且添加配置

          <property>
        <!-- 指定将MapReduce程序在Yarn上运行 -->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
编辑mapred-site.xml

  1. 将mapred-site.xml.template复制为mapred-site.xml:

    cp mapred-site.xml.template mapred-site.xml

  2. 编辑mapred-site.xml并且添加配置

        <property>
        <!-- 指定将MapReduce程序在Yarn上运行 -->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
编辑profile

编辑hadoop的环境变量

# hadoop
export HADOOP_HOME=/home/software/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使其重新生效

source /etc/profile
6. 将配置好的hadoop分发给其余节点
scp -r hadoop-2.7.6 root@hadoop02:/home/software/
scp -r hadoop-2.7.6 root@hadoop03:/home/software/
7. 集群启动
1. 启动Zookeeper集群
cd /bin
sh zkServer.sh start
2. 在第一个节点格式化Zookeeper
hdfs zkfc -formatZK
3. 在三个节点上启动JournalNode
hadoop-daemon.sh start journalnode
4.在第一个节点上格式化NameNode
# 如果节点中存在tmp目录
# 则删除对应目录
hadoop namenode -format
5. 在第一个节点上启动NameNode
hadoop-daemon.sh start namenode
6. 在第二个节点上格式化NameNode
hadoop namenode -bootstrapStandby
7.在第二个节点上启动NameNode
hadoop-daemon.sh start namenode
8.三个节点启动DataNode
hadoop-daemon.sh start datanode
9.在第一个节点和第二个节点启动FailOverController
hadoop-daemon.sh start zkfc
10.在第三个节点上启动Yarn
start-yarn.sh
11.在第一个节点上启动Resourcemanager
yarn-daemon.sh start resourcemanager
15.查看进程

第一个节点jps数据
在这里插入图片描述

第二个节点jps数据

第三个节点jps数据
在这里插入图片描述

8. 集群关闭
1. stop-all.sh

关闭Hadoop服务

2. 进入Zookeeper的bin目录

执行 sh zkServer.sh stop 关闭Zookeeper服务

BabyMuu
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark编程(一) RDD编程
Weary_PJ的博客
08-13 415
Spark编程(一) RDD编程 1.RDD创建 1.1从文件系统加载数据创建RDD 测试如下 当前系统中存在一个文件word.txt 位置和内容如下 读取成功 1.2通过数组创建RDD 2.RDD操作 2.1 转换操作 2.2 行动操作 2.3 惰性机制 2.4 实例 filter操作 找出文本文件中单行文本所包含的单词数量最大值 还可以用这个语句我觉得简单一点 lines.map(_.split(" ").size).max 3.RDD持久化 persist()方法对R
Spark-Shell的命令
foreverKOOKV95的博客
08-09 1626
目录1. RDD基本概念2. 创建RDD3. RDD编程API3.1 练习 1. RDD基本概念 RDD——分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 2. 创建RDD 由本地系统创建 val rdd1 = sc.textFile("file:///export/data/w
SparkRDD算子练习
weixin_55983492的博客
08-10 2560
练习一： scala> val list = List(("zhangsan",85),("zhangsan",90),("zhangsan",76),("lisi",80),("lisi",75),("lisi",89)) scala> val rdd = sc.parallelize(list) //将相同key的值聚合到一起 scala> val rdd1 = rdd.reduceByKey((a,b)=>a+b) //查看结果 scala> rdd1.collect
spark安装与入门
weixin_44371237的博客
11-30 577
spark安装与入门
配置Hadoop集群的log目录
yhblog的博客
01-06 4730
配置log目录首先在Hadoop软件包里面创建 logs目录，用 pwd 命令得到logs的文件路径，复制到配置文件中（自定义logs目录，为了方便在集群启动失败时查看日志，查找原因） 涉及到Hadoop 日志存储位置的共有三个地方的配置文件，分别是 /etc/Hadoop/conf/hadoop-env.sh /usr/lib/hadoop/libexec/hadoop-config.sh /e...
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
docker配置hadoop
09-28
001
hadoop3.3.3-winutils
07-19
hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
hadoop-3.4.0.tar.gz
04-22
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File ...
Hadoop3.1.3.rar
06-02
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是处理和存储大量数据的能力。这个名为"Hadoop3.1.3.rar"的压缩包文件包含了Hadoop 3.1.3版本的所有组件和相关文件，使得用户可以下载并进行...
hadoop常用命令汇总
zhglance的专栏
04-04 4878
1、查看目录下的文件列表：hadoop fs –ls [文件目录]hadoop fs -ls -h /lance 2、将本机文件夹存储至hadoop上：hadoop fs –put [本机目录] [hadoop目录] hadoop fs -put lance / 3、在hadoop指定目录内创建新目录：hadoop fs –mkdir [目录] hadoop fs -mkdir /lance4、在...
hadoop常用命令
m0_52789121的博客
04-19 4939
启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 Hadoopdfs –ls [文件目录] eg: hadoop dfs –ls /user/wangkai.pt 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:hadoop dfs -cat /user/wangkai.pt/data.txt 3、将
hadoop之hdfs命令
weixin_50691399的博客
12-15 1900
本文主要是hdfs相关操作包括查看文件上传下载文件等。
Hadoop基本命令（记一次Hadoop课后实验）
淮城一只猫
04-06 5516
实验平台： 操作系统：Centos7 Hadoop 版本：2.10.0 JDK 版本：8 实验目的 l理解 HDFS 在 Hadoop 体系结构中的角色 熟练使用 HDFS 操作常用的 Shell 命令； 熟悉 HDFS 操作常用的 Java API 实验内容 一：编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务： 1.向HDFS中上传任意文本文件，如果指定的文件在HD...
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
最新发布
永远好奇，无限进步！
07-09 221
上一节完成了Flume启动测试、FlumeConf编写、Flume发送和接收数据测试。本节将对Hive的操作数据进行收集，并将结果写入到HDFS中，方便后续计算。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123。
Hadoop3：Yarn的Tool接口案例
Brave_heart4pzj的博客
07-02 414
Hadoop
hadoop分布计算配置.pptx
10-21
"这是关于Hadoop分布式计算配置的培训材料，主要涵盖了Hadoop集群的基本配置，包括`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`的设置，以及masters和slaves文件的配置，还有集群的启动和验证过程。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值