UBuntu linux 安装hadoop 中到一些问题

1.

Starting namenodes on [localhost]

localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够
localhost: chown: 无法访问"/usr/local/hadoop/logs": 没有那个文件或目录
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 159: /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out: 没有那个文件或目录
localhost: head: 无法打开"/usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out" 读取数据: 没有那个文件或目录
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 177: /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out: 没有那个文件或目录
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 178: /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out: 没有那个文件或目录
localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够
localhost: chown: 无法访问"/usr/local/hadoop/logs": 没有那个文件或目录
localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 159: /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out: 没有那个文件或目录
localhost: head: 无法打开"/usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out" 读取数据: 没有那个文件或目录
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 177: /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out: 没有那个文件或目录
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 178: /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out: 没有那个文件或目录
Starting secondary namenodes [0.0.0.0]
0.0.0.0: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够
0.0.0.0: chown: 无法访问"/usr/local/hadoop/logs": 没有那个文件或目录
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out
0.0.0.0: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 159: /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out: 没有那个文件或目录
0.0.0.0: head: 无法打开"/usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out" 读取数据: 没有那个文件或目录
0.0.0.0: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 177: /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out: 没有那个文件或目录
0.0.0.0: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 178: /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out: 没有那个文件或目录
dblab@dblab-virtual-machine:/usr/local/hadoop$ sudo chown -R niugen /usr/local/hadoop


解决方法:

sudo chown -R 你自己电脑到用户名  /usr/local/hadoop

设置权限之后再继续之前到安装就OK了

2.Error: JAVA_HOME is not set and could not be found. 的错误,则说明之前设置 JAVA_HOME 环境变量那边就没设置好,请按教程先设置好 JAVA_HOME 变量,否则后面的过程都是进行不下去的。如果已经按照前面教程在.bashrc文件中设置了JAVA_HOME,还是出现 Error: JAVA_HOME is not set and could not be found. 的错误,那么,请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”,在里面找到“export JAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如,

“export JAVA_HOME=/usr/lib/jvm/你自己到java版本”,然后,再次启动Hadoop。



  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 在Linux Ubuntu安装Hadoop需要按照官方文档中的步骤进行操作。首先需要下载Hadoop的压缩文件,解压后配置环境变量,并进行必要的参数设置。最后启动Hadoop集群即可。具体步骤可以参考Hadoop官方文档或者相关的博客文章。 ### 回答2: 首先,为了开始安装Hadoop,需要先确保已经在Ubuntu安装了Java。 接下来,可以下载最新的版本的Hadoop。可以在Hadoop的官方网站上找到所有版本的下载引导。 一旦下载完成,需要将Hadoop安装程序解压到所选的目录。例如: ``` $ tar xvzf hadoop-2.7.3.tar.gz ``` 接下来,需要配置单个节点的伪分布式Hadoop集群。 修改Hadoop的配置文件。在文件系统中,可以找到core-site.xml和hdfs-site.xml,路径如下: ``` $ cd hadoop-2.7.3/etc/hadoop/ ``` 需要修改以下的配置属性: core-site.xml: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` hdfs-site.xml: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/hadoop/hadoopdata/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/hadoop/hadoopdata/datanode</value> </property> </configuration> ``` 其中,dfs.replication设置文件的复制级别,dfs.namenode.name.dir和dfs.datanode.data.dir用于指定Hadoop的文件系统中的数据存储在哪个地方。 在完成配置文件的修改后,可以启动Hadoop。首先,需要格式化NameNode。在hadoop目录下运行以下命令: ``` $ bin/hdfs namenode -format ``` 接下来,启动Hadoop: ``` $ sbin/start-dfs.sh ``` 可以通过在本地主机上的浏览器打开以下链接来检查是否已成功启动Hadoop: ``` http://localhost:50070/ ``` 现在已经成功安装Hadoop,可以通过创建hadoop user,更改权限并开始运行Hadoop Job。 ### 回答3: Hadoop是一款广泛使用的大数据处理平台,它能够处理海量的数据,以及实时的数据流。在Linux Ubuntu安装Hadoop可以让我们更好地获取、处理和分析数据。下面是具体的步骤: 1. 安装Java。在Linux Ubuntu系统中,Hadoop需要运行在Java环境下,所以需要先安装Java。 sudo apt-get update sudo apt-get install default-jdk 2. 下载Hadoop。前往Hadoop官网(https://hadoop.apache.org/)下载最新的稳定版Hadoop。 3. 解压Hadoop。将下载好的Hadoop压缩包解压到自己的目录下,例如: sudo tar xzvf hadoop-3.1.2.tar.gz -C /opt 4. 配置Hadoop。进入Hadoop安装目录,找到conf文件夹,并打开hadoop-env.sh文件进行编辑: cd /opt/hadoop-3.1.2/ sudo nano conf/hadoop-env.sh 在其中设置JAVA_HOME环境变量 export JAVA_HOME=/usr/lib/jvm/default-java 5. 设置Hadoop数据存储目录。为了让Hadoop能够存储数据,需要手动设置一下数据存储目录,例如: sudo mkdir /opt/hadoopdata sudo chown hduser:hadoop /opt/hadoopdata 6. 配置Hadoop集群。打开hdfs-site.xml文件,进行设置,例如: sudo nano /opt/hadoop-3.1.2/etc/hadoop/hdfs-site.xml 设置以下属性: <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoopdata/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoopdata/datanode</value> </property> 7. 启动Hadoop。运行以下命令启动Hadoop: cd /opt/hadoop-3.1.2/sbin sudo ./start-all.sh 启动成功后,可以通过:jps 查看是否成功启动。 这些就是在Linux Ubuntu安装Hadoop的具体步骤。安装完成后,您可以通过Hadoop平台更好地管理和处理大数据,让您能够更好地挖掘出有价值的信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值