大数据学习之hadoop伪分布式升级版的搭建

最新推荐文章于 2022-10-10 15:02:56 发布
最新推荐文章于 2022-10-10 15:02:56 发布
阅读量324 收藏
点赞数 2
分类专栏： 伪分布式 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52080234/article/details/112602778
版权

前言：

本篇文章针对于2020秋季学期的复习操作，一是对该学期的巩固，二是让老师知道他的努力没有白费，同时，在此感谢徐老师对我们的精心教导…

本次需要用到的材料

  • Notepad++
    官网
    我网盘也有→https://pan.baidu.com/s/1PIkQ0eJafbYGv4J5FhIoxQ
    →t123

本篇任务

  • 任务1：安装伪分布式升级版
    HDFS→ NameNode,DataNode,SecondaryNameNode
    Yarn→ ResourceManager,NodeManager

  • 任务2：搭建完全分布式版的Hadoop集群（重点★）
    →简单版的完全分布式

    前提

  • 打开虚拟机并用finalShell连接

  • 启动伪分布式集群并查看进程等相关情况
    在这里插入图片描述
    在这里插入图片描述

↓ 插播两个小知识 ↓

根据日志信息来排错

在这里插入图片描述

查看hdfs上的资源最终存储在linux系统哪个位置

[root@Mymaster logs]# cd /tmp/hadoop-root/dfs/data/current/
[root@Mymaster current]# ll
总用量 4
drwx------ 4 root root  54 1月  14 11:34 BP-2100367676-192.168.8.201-1610540476704
-rw-r--r-- 1 root root 229 1月  14 11:34 VERSION
[root@Mymaster current]# cd BP-2100367676-192.168.8.201-1610540476704/
[root@Mymaster BP-2100367676-192.168.8.201-1610540476704]# ll
总用量 4
drwxr-xr-x 4 root root  64 1月  13 20:52 current
-rw-r--r-- 1 root root 166 1月  13 20:24 scanner.cursor
drwxr-xr-x 2 root root   6 1月  14 11:34 tmp
[root@Mymaster BP-2100367676-192.168.8.201-1610540476704]# cd current/
[root@Mymaster current]# ll
总用量 8
-rw-r--r-- 1 root root  19 1月  13 20:52 dfsUsed
drwxr-xr-x 3 root root  21 1月  13 20:39 finalized
drwxr-xr-x 2 root root   6 1月  13 20:48 rbw
-rw-r--r-- 1 root root 132 1月  14 11:34 VERSION
[root@Mymaster current]# cd finalized/subdir0/subdir0/
[root@Mymaster subdir0]# ll
总用量 16
-rw-r--r-- 1 root root 31 1月  13 20:39 blk_1073741825
-rw-r--r-- 1 root root 11 1月  13 20:39 blk_1073741825_1001.meta
-rw-r--r-- 1 root root 43 1月  13 20:48 blk_1073741826
-rw-r--r-- 1 root root 11 1月  13 20:48 blk_1073741826_1002.meta
[root@Mymaster subdir0]# cat blk_1073741825
dfsa
ddasf
dfsf
dfsaa
sdfs
aaa
[root@Mymaster subdir0]# hdfs dfs -cat /input/*
dfsa
ddasf
dfsf
dfsaa
sdfs
aaa
[root@Mymaster subdir0]# pwd
/tmp/hadoop-root/dfs/data/current/BP-2100367676-192.168.8.201-1610540476704/current/finalized/subdir0/subdir0
[root@Mymaster subdir0]#

伪分布式升级版

大致步骤

建议：
删除之前安装的hadoop伪分布式普通版

前提：
①JDK
②上传，解压，重命名

正式实施：
①修改配置文件
hdfs → core-site.xml, hdfs-site.xml
yarn → yarn-site.xml, mapred-site.xml
shell → hadoop-env.sh，yarn-env.sh
②格式化NameNode
hdfs dfs -format
③启动hadoop伪分布式集群
start-dfs.sh → HDFS
（ NameNode,DataNode,SecondaryNameNode ）
start-yarn.sh → Yarn
（ ResourceManager,NodeManager）
上述两个shell脚本作用等价于：start-all.sh

④确认进程数：
>jps
NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

验证：
hdfs→
①目录的创建
②上传
③下载
监控：http://mymaster:50070
yarn（wordcount案例,源和目的地都在hdfs之上） →
yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-example-2.7.6.jar wordcount /intput /output
监控：http://mymaster:8080

实操开始

一、关闭集群并删除之前的hadoop分布式集群

[root@Mymaster subdir0]# jps
19441 DataNode
19221 NameNode
19701 SecondaryNameNode
43831 Jps
[root@Mymaster subdir0]# stop-dfs.sh 
Stopping namenodes on [Mymaster]
Mymaster: stopping namenode
localhost: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
[root@Mymaster subdir0]# cd
[root@Mymaster ~]# cd /opt/
[root@Mymaster opt]# rm -rf hadoop/
[root@Mymaster opt]# ll
总用量 0
drwxr-xr-x 8   10  143 255 9月  23 2016 jdk
drwxr-xr-x 2 root root  67 1月  13 16:59 soft
[root@Mymaster opt]#

二再次安装hadoop→同样的解压重命名

[root@Mymaster opt]# cd soft/
[root@Mymaster soft]# tar -zxvf hadoop-2.7.6.tar.gz -C ../
...
[root@Mymaster soft]# cd ..
[root@Mymaster opt]# ll
总用量 0
drwxr-xr-x 9 20415  101 149 4月  18 2018 hadoop-2.7.6
drwxr-xr-x 8    10  143 255 9月  23 2016 jdk
drwxr-xr-x 2 root  root  67 1月  13 16:59 soft
[root@Mymaster opt]# mv hadoop-2.7.6/ hadoop
[root@Mymaster opt]# ll
总用量 0
drwxr-xr-x 9 20415  101 149 4月  18 2018 hadoop
drwxr-xr-x 8    10  143 255 9月  23 2016 jdk
drwxr-xr-x 2 root  root  67 1月  13 16:59 soft

三、创建数据存储目录

我的设计：

  1. NameNode 数据存放目录： /opt/hadoop-repo/name
  2. SecondaryNameNode 数据存放目录： /opt/hadoop-repo/secondary
  3. DataNode 数据存放目录： /opt/hadoop-repo/data
  4. 临时数据存放目录： /opt/hadoop-repo/tmp
[root@Mymaster opt]# mkdir -p /opt/hadoop-repo/name
[root@Mymaster opt]# mkdir -p /opt/hadoop-repo/secondary
[root@Mymaster opt]# mkdir -p /opt/hadoop-repo/data
[root@Mymaster opt]# mkdir -p /opt/hadoop-repo/tmp

插播小插曲之notepad++
安装（略）
设置成中文（建议英文）
在这里插入图片描述
在这里插入图片描述
接下来是下载一个好用的插件→NppFTP
在这里插入图片描述
在这里插入图片描述
使用NppFTP连接我们的Mymaster远程虚拟机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
输入密码→是
在这里插入图片描述
回到正题

四、配置hadoop参数

hadoop-env.sh、yarn-env.sh
1)、配置hadoop-env.sh
（脚本文件：/etc/profile.d/bigdata.sh中已经配置了名为JAVA_HOME的环境变量，此处不用配置了。）
export JAVA_HOME=/opt/jdk
2)、配置yarn-env.sh
（若是已经配置好了JAVA_HOME环境变量，该shell脚本不用修改）
export JAVA_HOME=/opt/jdk

core-site.xml
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<!-- 指定HDFS老大（namenode）的通信地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://Mymaster:8020</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储路径 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:///opt/hadoop-repo/tmp</value>
	</property>
</configuration>

修改完记得ctrl+s保存！！！

同样注意英文和中文空格的问题！！！

hdfs-site.xml
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>  
		<name>dfs.namenode.name.dir</name>  
		<value>file:///opt/hadoop-repo/name</value>  
	</property>
	<property> 
		<name>dfs.datanode.data.dir</name>  
		<value>file:///opt/hadoop-repo/data</value>  
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///opt/hadoop-repo/secondary</value>
	</property>
	<!-- secondaryName http地址 -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>Mymaster:9001</value>
	</property>
	<!-- 数据备份数量-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!-- 运行通过web访问hdfs, 50070-->
	<property> 
		<name>dfs.webhdfs.enabled</name>  
		<value>true</value>  
	</property>
	<!-- 剔除权限控制 -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

</configuration>

yarn-site.xml
在这里插入图片描述

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->
	<!-- reducer取数据的方式是mapreduce_shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定YARN的老大（ResourceManager）的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>Mymaster</value>
	</property> 
	<!-- 常识：同一个进程，协议不同，端口号也不同。如：NameNode进程，hdfs协议：8020， htt协议：50070-->
	<property>  
		<name>yarn.resourcemanager.address</name>  
		<value>Mymaster:8032</value>  
	</property>  
	<property>  
		<name>yarn.resourcemanager.scheduler.address</name>  
		<value>Mymaster:8030</value>  
	</property>  
	<property>  
		<name>yarn.resourcemanager.resource-tracker.address</name>  
		<value>Mymaster:8031</value>  
	</property>  
	<property>  
		<name>yarn.resourcemanager.admin.address</name>  
		<value>Mymaster:8033</value>  
	</property>
	<!-- http://master:8088 -->
	<property> 
		<name>yarn.resourcemanager.webapp.address</name>  
		<value>Mymaster:8088</value>  
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>  
		<value>true</value>  
	</property>

</configuration>

mapred-site.xml
哎，好像没有mapred-site.xml！！！
这里需要修改一下文件名，并且必须修改！！
选中右键
在这里插入图片描述
去点后缀.template→ok
在这里插入图片描述
在这里插入图片描述

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<!-- 通知框架MR使用YARN ，也就是“指定mr运行在yarn上”-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property> 
	<!-- 历史job的访问地址-->
	<property>  
		<name>mapreduce.jobhistory.address</name>  
		<value>Mymaster:10020</value>  
	</property>
	<!-- 历史job的访问web地址-->
	<property>  
		<name>mapreduce.jobhistory.webapp.address</name>  
		<value>Mymaster:19888</value>  
	</property>
	<!-- 控制日志信息输出的级别 -->
	<property>
		<name>mapreduce.map.log.level</name>
		<value>INFO</value>
	</property>
	<property>
		<name>mapreduce.reduce.log.level</name>
		<value>INFO</value>
	</property>

</configuration>

完毕！！！

五、格式化NN，这个操作过了应该很容易

[root@Mymaster ~]# hadoop namenode -format

在这里插入图片描述
这里我们可以看一下NN进程进行格式化后元数据文件的内幕
我们上面设计的配置文件NN元数据储存在/opt/hadoop-repo/name/下
在这里插入图片描述
我们的hadoop-repo/name/创建的时候是没有加东西的那么这个就是NN格式化自动创建的！！
进去看看有什么
在这里插入图片描述
注意：出现上述乱码，需要关闭当前连接窗口；新开窗口重连master。
NN格式化内幕就说到这里了

六、启动hadoop伪分布式集群

为了防止出错我们先分开启动

 start-dfs.sh

在这里插入图片描述
这里如果某一个进程没有起来可以单开试试，不行的话就得检测你的配置等等了，还有就是玩坏了想重新来的要先删除NN的元数据啦！

hadoop-daemon.sh start namenode
hadoop-daemon.sh start DataNode
hadoop-daemon.sh start SecondaryNameNode

[root@Mymaster ~]# start-yarn.sh

在这里插入图片描述

yarn-daemon.sh start ResourceManager
yarn-daemon.sh start SecondaryNameNode

所有一起的命令

[root@Mymaster ~]# stop-all.sh 
[root@Mymaster ~]# start-all.sh

在这里插入图片描述
没有问题！！！

七、验证hadoop伪分布式集群能够正常使用

第1步：验证hdfs的可用性
http://mymaster:50070
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上传查看没有问题！！
在这里插入图片描述
下载也没问题！！！

第2步：验证yarn的可用性
通过browser能够访问ResourceManager进程
http://mymaster:8088/
在这里插入图片描述
将应用提交到远程hadoop伪分布式集群中去运行

[root@Mymaster input]# yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount hdfs://Mymaster:8020/input hdfs://Mymaster:8020/output

在这里插入图片描述
没有问题！！！
刷新ResourceManager进程browser
在这里插入图片描述
我们再运行一次看一下运行中的界面
在这里插入图片描述

在这里插入图片描述
到了这里一个升级版的hadoop伪分布式集群就完成了
那么我们说过了，这个娇妻不好哄，不要一激动就直接关机了，必须先关集群，必须先关集群，必须先关集群！！！
在这里插入图片描述
那么，本次复习就到此结束了！！！
编写于2021-1-14

小|熙
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop 1.2.1 伪分布升级到 2.6.0伪分布（八）
forever19870418的博客
03-24 744
Hadoop 1.2.1伪分布式搭建 一 创建目录 mkdir -p /hadoop/hadoop/data/dfs/name mkdir -p /hadoop/hadoop/data/dfs/data mkdir -p /hadoop/tmp chown -R hadoop:root /hadoop 二 解压hadoop 1.2.1到hadoop [hadoop@hadoo
伪分布Hadoop2.7.6 hbase2.1.8升级到Hadoop3.1.3 hbase2.1.10
ASN_forever的博客
07-03 505
如果Hadoop集群配置了高可用，则可以进行不停服的滚动升级。但现在是伪分布的单节点集群，因此需要停止Hadoop及相关的应用，包括hbase、zookeeper等。 Hadoop升级 因为目前有跑flink作业，checkpoint是放在hdfs上的，因此先停掉对应的job（只需要停job，不用关flink集群） 停止hbase集群：stop-hbase.sh 停止Hadoop集群：stop-all.sh 备份hdfs元数据：包括namenode元数据、datanode元数据、临时数据，我都备份
hadoop格式化(hadoop format)的注意事项
b_oyidyt的博客
08-28 4万+
格式化命令: 关于hdfs的格式化 首次启动需要进行格式化 格式化本质是进行文件系统的初始化操作 创建一些自己所需要的文件 格式化之后 集群启动成功 后续再也不要进行格式化 格式化的操作在hdfs集群的主角色（namenode）所在机器上操作 hdfs namenode–format hadoop namenode –format 格式化后返回的信息 DEPRECATE...
hadoop hdfs dfs基本操作
archer的技术故事
04-09 3万+
hadoop hdfs dfs基本操作 本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html 根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令h
Hadoop 3.0升级
fzw的专栏
10-10 1739
Hadoop 3.0版本升级，解决多个漏洞
大数据云计算技术系列 hadoop单机版搭建图文详解（共14页）.pdf
09-04
【大数据云计算技术系列 hadoop单机版搭建图文详解】 在当今的数据时代，大数据处理和分析已经成为企业及研究机构的核心需求之一。Apache Hadoop 是一种开源的分布式计算框架，它允许在大规模集群上处理和存储海量...
Hadoop权威指南.大数据的存储与分析.第4版.修订版&升级版
01-18
这本书的第4版不仅进行了修订，还进行了升级，确保了内容与当前技术发展同步，对于学习和理解Hadoop生态系统的各个方面具有极高的参考价值。 Hadoop是基于Java开发的，它主要由两个核心组件构成：Hadoop ...
CDH6安装包、大数据平台管理工具、大数据、hadoop、CDH6.2
最新发布
01-17
通过这个安装包，用户可以获得完整的CDH6.2.0版本，包括必要的依赖和配置文件，以便在自己的环境中搭建和管理大数据平台。对于想要深入了解和实践大数据技术的开发者和管理员来说，这是一个非常宝贵的资源。
hadoop-3.3.4 版本（最新版）
12-14
Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台，能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 Hadoop 架构有两个主要的组件：分布式文件系统 HDFS 和 MapReduce 引擎。 在 Hadoop 中...
Hadoop3以及高可用HA搭建方式.zip
07-10
在IT行业中，Hadoop是一个广泛使用的开源框架，用于存储和处理大数据。Hadoop3是其最新版本，带来了许多新特性和性能提升。本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法...
【大数据】Apache Hadoop进行版本升级的操作
zxln007的博客
04-30 1万+
3月份，公司最大的集群要从Hadoop2.4升级到Hadoop2.8 ，是一个大版本跨度的升级操作，所以前期对Hadoop2.8版本进行了很多功能和性能方面的验证和测试。同时也拟定了几个升级和回滚方案。由于集群的离线任务一般在夜间，所以夜间的HDFS压力很大，RPC延迟很高，导致集群性能下降，最终升级是在这种集群快要支撑不住的情况下进行的。当然，升级过程还算比较平稳，没有出现什么惊心动魄的事情。我...
hadoop 如何重新格式化dfs系统
xiao_jun_0820的专栏
04-26 7466
若想重新格式化dfs系统，必须先 1 将namenode上 dfs.name.dir所指定的目录删除 2 将所有datanode的 dfs.data.dir目录删除 3 将所有节点的hadoop.tmp.dir里所有子目录删除。 然后重新执行 hadoop namenode -format  格式化。 一个干净的dfs系统重新产生了，不过原来的数据就全部丢失了。。。
hadoop hdfs dfs 命令讲解
热门推荐
梁小明的博客
05-23 5万+
hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile  ...  追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. · hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile · hdfs dfs -appendToFile localfile1 localf
把hadoop里的output删除_Hadoop框架：单服务下伪分布式集群搭建
weixin_39762856的博客
02-03 1448
一、基础环境1、环境版本环境：centos7hadoop版本：2.7.2jdk版本：1.82、Hadoop目录结构bin目录：存放对Hadoop的HDFS,YARN服务进行操作的脚本etc目录：Hadoop的相关配置文件目录lib目录：存放Hadoop的本地库，提供数据压缩解压缩能力sbin目录：存放启动或停止Hadoop相关服务的脚本share目录：存放Hadoop的依赖jar包、文档...
Apache Hadoop 3.x 最新状态以及升级指南
过往记忆大数据
02-04 1885
本文来自 2019年9月23日至26日在纽约举办的 Strata Data Conference，分享者是来自 Cloudera 的Wangda Tan 和 Wei-Chiu Chua...
YARN 的架构是怎样的？YARN 的核心组件有哪些？
Shockang的博客
06-17 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 YARN是经典的主从（master/slave）结构，如下图所示。 大体上看，YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成，ResourceManager为主节点（master），NodeManager为从节点（slave）。 ApplicationM
Hadoop生态圈（三十五）- YARN常用命令操作详解
程序园@大Null
02-11 3839
yarn application查看任务，yarn logs查看日志，yarn applicationattempt查看尝试运行的任务，yarn container查看容器，yarn node查看节点状态，yarn rmadmin更新配置，yarn queue查看队列，yarn jar运行jar包，yarn classpath获取类路径，yarn proxyserver开启服务，yarn daemonlog设置日志级别，yarn rmadmin重载配置，timelineser服务，scmadmin服务
Hadoop MapReduce指定yarn队列： -Dmapreduce.job.queuename
学亮编程手记
09-28 2826
-Dmapreduce.job.queuename=dmgeo指定队列名称，不需要加root. hadoop jar /opt/bigdata/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -Dmapreduce.job.queuename=dmgeo -write -nrFiles 10 -fileSize 128MB ...
Hadoop 2.7 不停服升级到 3.2 在滴滴的实践
过往记忆大数据
01-05 2370
桔妹导读：Hadoop 3的第一个稳定版本在2017年底就已经发布了，有了很多重大的改进。在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、...
Hadoop伪分布搭建 大数据 入门 学习
03-09
学习Hadoop的伪分布式搭建有助于理解Hadoop集群的工作机制，特别是NameNode和DataNode的角色，以及MapReduce中的JobTracker和TaskTracker如何协同工作。此外，通过实际操作可以更好地掌握Hadoop配置文件的修改，这...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值