hadoop学习——配置hadoop单节点集群，启动HDFS

最新推荐文章于 2023-05-05 17:40:18 发布
最新推荐文章于 2023-05-05 17:40:18 发布
阅读量747 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiQingBB/article/details/105563949
版权

hadoop配置其实在官网上写的非常清楚了，这里演示一遍。版本采用的是hadoop-2.6.0-cdh5.15.1，网址为：

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html

首先修改配置文件etc/hadoop/core-site.xml和etc/hadoop/hdfs-site.xml

 

注意这里的etc是hadoop软件解压后的路径，也就是$HADOOP_HOME/etc/hadoop

ls一下，可以看到有这些文件

修改core-site.xml

vim core-site.xml

在其中写

最低0.47元/天 解锁文章
ppsppy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop单节点的hdfs部署
qq_37283909的博客
02-17 640
第一步：创建hadoop用户并上传hadoop的tar包 第二步：部署jdk 1、 jdk的部署路径：/usr/java 2、上传完之后解压： [root@hadoop-01 java]# tar -xzvf jdk-8u45-linux-x64.gz [root@hadoop-01 java]# ll total 319156 drwxr-xr-x 8 uucp 143 4096 A...
Hadoop完全分布式运行模式（四）集群单节点启动
weixin_43497444的博客
02-24 374
1.如果集群是第一次启动，需要格式化 NameNode [hadoop@hadoop102 hadoop-2.7.2]$ hadoop namenode -format 2.在hadoop102上启动NameNode [hadoop@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode [hadoop@hadoop102 hadoop-...
Hadoop 集群单点启动
热门推荐
小杨的技术博客
03-31 2万+
文章目录格式化 NameNode启动启动 HDFS查看 格式化 NameNode 如果集群是第一次启动，需要格式化 NameNode。 //删除之前留下的data、log [root@hadoop102 hadoop-2.7.2]# rm -rf data/ logs/ [root@hadoop103 hadoop-2.7.2]# rm -rf data/ logs/ [root@hadoop1...
启动hdfs的时候某个datanode节点启动不成功
qq_40202995的博客
06-30 334
1、现象 在启动hdfs的时候，某个节点的datanode始终起步成功，jps看不到datanode进程 2、排查问题 经过查看该节点的log日志： 是namenode的version文件的clusterid和datanode不一致导致的，所以应该把该节点的version文件的clusterid改成和主节点一致 3、问题解决 4、拓展-原因 NameNode保存元数据的！ DataNode保存真实数据的！ 一个文件不管上传还是下载，必须访问NN，先获取NN中相关的元数据！
Hadoop完全分布式运行模式＜开发重点＞: 集群单点启动
weixin_44065078的博客
10-11 155
Hadoop完全分布式运行模式＜开发重点＞: 集群单点启动1. 如果集群是第一次启动，需要格式化`NameNode`2. 在 `hadoop102` 上启动 `NameNode`3. 在 `hadoop102`、`hadoop103` 以及 `hadoop104` 上分别启动 `DataNode` 1. 如果集群是第一次启动，需要格式化NameNode [atguigu@hadoop102hadoop-2.7.2]$ hadoop namenode -format 2. 在 hadoop102 上启动 N
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
在构建高可用（HA）Hadoop集群时，HDFS（Hadoop Distributed File System）HA配置是关键步骤，目的是确保即使NameNode节点发生故障，数据访问和服务也不会中断。本教程将详细讲解如何配置、启动和验证Hadoop HA集群...
07hadoop的安装&hdfs集群的配置与测试——好程序
01-07
1•Local (Standalone) Mode（单节点的本地模式）Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境，它使用linux的文件系统，适用于开发、测试、调试环境 运行案例 2•Pseudo-Distributed Mode（伪分布式...
单节点运行hadoop环境配置.docx
09-18
在配置单节点Hadoop环境时，首先需要确保你的系统已经具备了Java环境，因为Hadoop是基于Java开发的分布式计算框架。...在后续的学习中，你还可以尝试搭建多节点集群，进一步理解Hadoop的分布式计算能力。
HadoopHA高可用集群配置 hdfs-site.xml
07-07
本文将重点介绍Hadoop HA高可用集群配置中的关键参数及其作用，特别是`hdfs-site.xml`文件中与HA相关的配置项。 #### 二、Hadoop HA概述 Hadoop HA（High Availability）是指通过在集群中部署多个NameNode实例来...
CentOS下Hadoop-0.20.2集群配置文档.docx
最新发布
09-18
完成以上步骤后，Hadoop集群的基础环境就已经准备就绪，可以进一步配置Hadoop的配置文件（如hadoop-site.xml和core-site.xml），以及NameNode和DataNode的启动脚本，以实现完整的Hadoop分布式文件系统（HDFS）和...
Hadoop的单节点集群详细启动步骤
weixin_30326745的博客
03-15 245
　　 　　见，如下博客 hadoop-2.2.0.tar.gz的伪分布集群环境搭建(单节点) 　　很简单，不多赘述。 转载于:https://www.cnblogs.com/zlslch/p/6553718.html
Hadoop完全分布式 => 集群配置单点启动
小妖666个人笔记
04-12 298
1.集群部署规划 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager ...
在单节点集群上安装Hadoop和HDFS
aiaias的博客
11-27 471
一、准备条件 虚拟机VMWare Linux系统 Ubuntu Java JDK8 Hadoop 2.7.3 二、实验目的 回顾复习Linux 文件操作和vi编辑器使用方法 学会在Ubuntu系统中安装和配置Hadoop 掌握启动Hadoop和查看HDFS daemons服务状态的方法 三、实验原理 Linux系统下Java 运行和开发环境JDK的安装配置 在Java环境中安装和运行Hadoop 四、实验步骤 步骤1 在Ubuntu中下载Java 8 的tar文件jdk-8u101-linux-
安装启动单机HDFS
qq_37436172的博客
05-05 238
前提，需要确保有java8的环境，并安装java并且配置环境变量然后执行source /etc/profile重载配置文件。
二十五、伪分布式（Pseudo-Distributed Operation、单节点）之启动HDFS并运行MapReduce 程序
基督山伯爵的博客
10-12 477
      &amp
集群hdfs启动
Jackson_Father的博客
01-13 786
单点启动 节点和 整体启动
五、Hadoop集群启动
铭绵羊
12-13 2066
1）集群单点启动 （1）如果集群是新集群，第一次启动需要格式化NameNode hdfs namenode -format （2）在hadoop102上启动NameNode hdfs --daemon start namenode （3）在hadoop102、hadoop103、hadoop104上分别启动DataNode hdfs --daemon start datanode （4）在hadoop104上启动SecondaryNameNode hdfs --daemon start secondaryn
hadoop之hdfs的3个节点以同一进程启动
Sylvia_D507的博客
10-05 595
HDFS三个进程启动都以xxxxxxxx启动： 以我自己的机器名称为例： HDFS三个进程启动以hadoop001启动：etc/hadoop目录下设置 之前在部署hdfs时候修改了core-site.xml文件slaves文件 （1）在core-site.xml文件中修改fs.defaultFS参数为hadoop001，使NameNode进程以hadoop001启动。 （2）在slaves文...
Hadoop HDFS 单节点部署方案
weixin_30410999的博客
04-17 225
初学者，再次记录一下。 确保Java 和 Hadoop已安装完毕(每个人的不一定一样，但肯定都有数据，仅供参考) [root@jans hadoop-2.9.0]# pwd /usr/local/hadoop-2.9.0 [root@jans hadoop-2.9.0]# echo $JAVA_HOME /usr/ [root@jans hadoop-2.9.0]# ja...
Hadoop HA集群部署教程：HDFS HA配置与验证详解
本教学课件旨在详细介绍Hadoop High Availability (Hadoop HA) 集群的部署、HDFS High Availability (HDFS HA) 配置、启动以及验证过程。课程内容分为六个主要任务： 1. **任务一：修改core-site.xml配置** - 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值