Hadoop——Hadoop单机搭建问题汇总

原创 已于 2023-07-19 11:02:05 修改 · 879 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据 #分布式

于 2023-07-19 10:44:40 首次发布
文章列举了Hadoop在运行中遇到的五种常见错误及解决方案，包括权限拒绝问题、文件ClusterId不一致、Windows环境下启动错误、端口被占用以及NativeIO相关问题，并提供了详细的解决步骤，如修改配置文件、删除临时文件、格式化、端口检查及释放、替换或转移dll文件。

1、org.apache.hadoop.security.AccessControlException: Permission denied: user=root...

解决方法：关闭Hadoop,在hdfs-site.xml文件中添加：

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

然后重新格式化：hdfs namenode -format，每次格式化时最好把datanode、namenode和tmp目录下的文件删掉，避免出现一些ClusterId之类的问题

最后重启Hadoop

2、org.apache.hadoop.ipc.RemoteException(java.io.IOException): File...

hadoop namenode -format格式化时格式化了多次造成ClusterId不一致等问题

解决方法：关闭Hadoop -> 把datanode、namenode和tmp目录下的文件删掉 -> 重新格式化 -> 重启Hadoop

3、Windows环境下Hadoop启动错误“系统找不到指定的批标签 - resourcemanager”

文件编码问题。

使用Notepad++, 对相关的*.cmd文件（这里是yarn.cmd）做如下操作 Edit（编辑） -> EOL Conversion（文档格式转换） -> Windows Format（转为Windows），保存并在hadoop的sbin目录下重新管理员运行start-all.cmd，可以看到resourcemanage

最低0.47元/天 解锁文章
Hadoop学习——Hadoop单机运行Grep实例（包含错误解决方法）
长弓同学的python学习笔记
08-29 5650
上一篇安装了Hadoop单机，所以今天打算先用Hadoop的mapreduce自带的Grep实例实践一下，顺带测试Hadoop是否成功安装。（不是水博客，有在努力填坑）实践开始之前，我们需要了解一下Grep实例，Grep（缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本。...
单机搭建hadoop环境（包括hdfs、yarn、hive）
howard_shooter的博客
01-28 2781
然后，下载hadoop安装包，这个包就包括了hdfs服务器和yarn服务器的执行文件和配置脚本。首先，要配置好Java的JAVA_HOME和PATH（etc/hadoop/hadoop-env.sh里的JAVA_HOME要改为本机的JAVA_HOME），还是有ssh本机的免密码登录。etc/hadoop/hdfs-site.xml （dfs.namenode.name.dir 和 dfs.namenode.data.dir）是服务器上存储元数据和数据的目录。yarn服务器，yarn的前提是hdfs服务器，
搭建Hadoop环境之单机模式
M_23_J的博客
10-25 333
安装前的准备： 需要JDK环境 防火墙关闭 创建独立用户 设置主机名称 修改hosts地址映射 准备工作： 先规划安装目录，再/opt下创建software和app目录，software用于存放上传的源文件，app是软件的安装路径，上传文件可以使用 yum install lrzsz 安装 rz 命令来上传文件。 安装JDK。先把安装包上传至/opt/software下，然后使用 tar -...
Hadoop安装部署-单机版
wys的专栏
03-21 1371
Hadoop安装部署-单机版
hadoop单机版搭建图文详解
尘一
05-03 304
  前置条件： 1、ubuntu10.10安装成功（个人认为不必要花太多时间在系统安装上，我们不是为了装机而装机的） 2、jdk安装成功（jdk1.6.0_23for linux版本，图解安装过程http://freewxy.iteye.com/blog/882784  ） 3、下载hhadoop0.21.0.tar.gz（http://apache.etoak.com//...
初识Hadoop之Hadoop单机版搭建
myhome
11-19 3375
Hadoop，集群，单机
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 4260
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
#大数据技术#基于python的hadoop（单机）环境搭建及使用
是建威啊的博客
03-28 2808
1.修改静态ip-->2.更换可用源-->3.安装python3(进入python3.6文件夹后先执行2.1的操作)-->4.安装pip3(本贴使用的是python3.6.8，相对较高版本不会出现需要更新ssh的情况)-->5.安装好相关库
大数据之Hadoop学习（环境配置）——Hadoop伪分布式集群搭建
lzw2016的博客
11-18 1626
title: Hadoop伪分布式集群搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大数据 点击查看我的博客: Josonlee’s Blog 文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免...
大数据Hadoop入门——HDFS、Yarn、MapReduce
weixin_44090845的博客
11-16 2712
Hadoop框架详细个人总结——Hadoop入门篇大数据是什么？Hadoop基本概念介绍一、什么是Hadoop？二、Hadoop优势——四高三、Hadoop组成（重点）四、HDFS架构五、YARN架构六、MapReduce架构七、HDFS、YARN、MapReduce 三者关系Hadoop运行环境搭建虚拟机的准备一、安装虚拟机二、虚拟机配置及环境准备Hadoop运行模式一、本地运行模式二、伪分布式模式三、完全分布式模式**1.虚拟机准备****2.准备一个集群分发脚本****3.SSH 无密登录配置****
Hadoop单机版
w_angjunfeng的博客
07-06 446
安装单机版 Hadoop 系统 一、配置 Hadoop 配置文件 二、测试 Hadoop 本地模式的运行 步骤一: 切换到 hadoop 用户 步骤二: 创建输入数据存放目录 步骤三: 创建数据输入文
Hadoop 单机安装
RETURN100ERRORS的博客
09-01 621
**前提:**确保JDK环境已经配置好 步骤： 1、 下载并配置环境，本文默认安装目录 /opt/apps 配置安装目录并下载hadoop # 创建apps目录 mkdir /opt/apps # 进入该路径 cd /opt/apps # 下载hadoop压缩包 wget http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/hadoop-2.9.2.tar.gz 解压并配置环境变量 # 解压hadoop压缩包 tar -zxvf hadoop-2
Hadoop单机模式
weixin_53323742的博客
04-07 2647
1模板虚拟机环境准备 1.1安装模板虚拟机，IP地址192.168.10.100 主机名称hadoop100，内存为个人pc机四分之一，磁盘大小为50G 1.2 hadoop100虚拟机配置要求如下（centos-7.5为例,安装环境为桌面系统） (1)测试虚拟机联网情况 [root@hadoop100 ~]# ping www.baidu.com PING www.baidu.com (14.215.177.39) 56(84) bytes of data. 64 bytes from 14.2
Hadoop 3.0.0 （单机版）安装与配置与基础使用
罗不丢的博客
09-03 1397
大数据技术概述什么是大数据大数据的五V特性大数据的应用分布式文件系统---GFSHadooop概述什么是分布式文件系统什么是GFS（Google File System） 第一点：用户是怎样访问到需求数据的？第二点：为什么要把一个文件分成若干个chunk,一个chunk的大小为何设定为64M，一个文件的chunk要被分布在多个chunkserver中第三点：GFS的副本机制 HDFS安装部署以及文件配置
hadoop单机配置
liuxiaochen123的专栏
06-28 2870
配置环境变量(/etc/profile) #set java environment export JAVA_HOME=/usr/lib/java/jdk1.6.0_31 export JRE_HOME=/usr/lib/java/jdk1.6.0_31/jre export HADOOP_HOME=/home/hadoop/hadoop export CLASSPA
Hadoop单机安装配置 图文保姆级教程—保姆级配置教程—全网最全[官方手册版]
最新发布
m0_63324772的博客
05-11 4097
Hadoop单机安装配置图文保姆级教程—全网最全 一、安装前需要 1.VMware安装配置： 2.相关Hadoop软件包下载 3.Ubuntu镜像下载 二、Ubuntu系统安装 前提声明：已安装可忽略此步（但要有远程传输VMwareTools，和英文版的Ubuntu） 三、Hadoop单机+伪分布式配置 1.更新apt 2.安装Vim 3.安装SSH 4.配置SSH无密码登陆 5.安装Java环境 6.安装Hadoop 7.单机配置（非分布式）
hadoop单机版安装
幻神舞的专栏
11-08 1780
hadoop单机版安装
Hadoop安装详细教程 单机版
KIRA551的博客
11-17 3639
Hadoop安装教程 单机版 一、Hadoop是什么？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决海量数据的存储以及分析计算的问题，并且含有一个更广泛的概念——Hadoop生态圈。 Hadoop是大数据集成技术之一.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值