关于hadoop伪分布安装遇到的格式化失败解决【yum、CentOS】

1.查看java的所有版本:yum list java*
2.安装免费版1.8: yum install java-1.8.0-openjdk.x86_64
3.配置java环境
vim /etc/profile

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.xxxxxxxxx.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

source /etc/profile
此时 java -veriosn 可以查看版本了
4.解决javac 不可用

yum install java-devel

5.hadoop伪分布,,,,,,格式化前
./hdfs namenode-format

用法: javac <options> <source files>
其中, 可能的选项包括:
  -g                         生成所有调试信息
  -g:none                    不生成任何调试信息
  -g:{lines,vars,source}     只生成某些调试信息
  -nowarn                    不生成任何警告
  -verbose                   输出有关编译器正在执行的操作的消息
  -deprecation               输出使用已过时的 API 的源位置
  -classpath <路径>            指定查找用户类文件和注释处理程序的位置
  -cp <路径>                   指定查找用户类文件和注释处理程序的位置
  -sourcepath <路径>           指定查找输入源文件的位置
  -bootclasspath <路径>        覆盖引导类文件的位置
  -extdirs <目录>              覆盖所安装扩展的位置
  -endorseddirs <目录>         覆盖签名的标准路径的位置
  -proc:{none,only}          控制是否执行注释处理和/或编译。
  -processor <class1>[,<class2>,<class3>...] 要运行的注释处理程序的名称; 绕过默认的搜索进程
  -processorpath <路径>        指定查找注释处理程序的位置
  -parameters                生成元数据以用于方法参数的反射
  -d <目录>                    指定放置生成的类文件的位置
  -s <目录>                    指定放置生成的源文件的位置
  -h <目录>                    指定放置生成的本机标头文件的位置
  -implicit:{none,class}     指定是否为隐式引用文件生成类文件
  -encoding <编码>             指定源文件使用的字符编码
  -source <发行版>              提供与指定发行版的源兼容性
  -target <发行版>              生成特定 VM 版本的类文件
  -profile <配置文件>            请确保使用的 API 在指定的配置文件中可用
  -version                   版本信息
  -help                      输出标准选项的提要
  -A关键字[=值]                  传递给注释处理程序的选项
  -X                         输出非标准选项的提要
  -J<标记>                     直接将 <标记> 传递给运行时系统
  -Werror                    出现警告时终止编译
  @<文件名>                     从文件读取选项和文件名

[root@wangheqing bin]# ./hdfs namenode-format
ERROR: namenode-format is not COMMAND nor fully qualified CLASSNAME.
Usage: hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]

  OPTIONS is none or any of:

--buildpaths                       attempt to add class files from build tree
--config dir                       Hadoop config directory
--daemon (start|status|stop)       operate on a daemon
--debug                            turn on shell script debug mode
--help                             usage information
--hostnames list[,of,host,names]   hosts to use in worker mode
--hosts filename                   list of hosts to use in worker mode
--loglevel level                   set the log4j level for this command
--workers                          turn on worker mode

现在已经可以格式化了

虚拟机的话,直接重启ubuntu再格式化,百试不爽

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
以下是在 CentOS 7 上安装 Hadoop 分布式环境的步骤: 1. 准备 Java 环境 Hadoop 运行需要 Java 环境,可以使用 OpenJDK 或 Oracle JDK。在 CentOS 7 上,可以通过以下命令安装 OpenJDK: ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载 HadoopHadoop 官网下载最新的稳定版本,并解压到指定目录。例如: ``` cd /opt sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz sudo tar -xzf hadoop-3.3.0.tar.gz sudo mv hadoop-3.3.0 hadoop ``` 3. 配置环境变量 编辑 `/etc/profile` 文件,在文件末尾加入以下内容: ``` export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行以下命令使环境变量生效: ``` source /etc/profile ``` 4. 配置 Hadoop 进入 Hadoop 安装目录,编辑 `etc/hadoop/hadoop-env.sh` 文件,设置以下环境变量: ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_HOME=/opt/hadoop ``` 然后编辑 `etc/hadoop/core-site.xml` 文件,设置以下内容: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> </configuration> ``` 然后编辑 `etc/hadoop/hdfs-site.xml` 文件,设置以下内容: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///opt/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///opt/hadoop/hdfs/datanode</value> </property> </configuration> ``` 最后,编辑 `etc/hadoop/mapred-site.xml` 文件,设置以下内容: ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.application.classpath</name> <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value> </property> </configuration> ``` 5. 格式化 HDFS 在 Hadoop 安装目录下执行以下命令,格式化 HDFS: ``` hdfs namenode -format ``` 6. 启动 Hadoop 执行以下命令启动 Hadoop: ``` start-dfs.sh start-yarn.sh ``` 7. 测试 Hadoop 在浏览器中访问 `http://localhost:9870/`,可以看到 Hadoop 的 Web UI。在终端中执行以下命令,上传一个文件到 HDFS: ``` hdfs dfs -mkdir /input hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /input ``` 然后执行以下命令,在 Hadoop 上运行一个 WordCount 示例程序: ``` yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output ``` 最后,查看输出结果: ``` hdfs dfs -cat /output/part-r-00000 ``` 如果输出了正确的结果,则说明 Hadoop 已经在 CentOS 7 上成功安装并运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

来杯Sherry

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值