hadoop单机安装

原创 2016年05月31日 21:00:11

机器信息:
centos7 64 bit

jdk

使用hadoop需要安装jdk
centos上已经默认安装了java,但是我没找到jdk的文件目录,只找到java的软链接

/usr/bin/java

所以自己选择重装java,在 java官网 下载linux64的tar.gz文件,解压到自定义目录。

cp jdk-8u91-linux-x64.tar.gz /software/
cd /software
tar -xzvf jdk-8u91-linux-x64.tar.gz
mv jdk.8u91  jdk

更改java软链接,将之前的软链接保存为 java_old,重新建立链接到刚下载的jdk

mv /usr/bin/java  /usr/bin/java_old
ln -s /software/jdk /usr/bin/java

注意: 在上面第一个操作实施后,/usr/bin/java不存在,才能进行第二步。

hadoop

从官网下载编译后的hadoop文件 hadoop-2.7.0.tar.gz
[src.tar.gz 文件需要重新编译]

cd /software
tar -xzvf hadoop-2.7.0.tar.gz
mv  hadoop.2.7.0 hadoop

赋予权限

chown -R yh ./hadoop

这里写图片描述

修改4个配置文件
进入配置文件目录

cd ./etc/hadoop

a) hadoop-env.sh ,在该文件的末尾根据JDK安装目录增加以下几行:


       export JAVA_HOME=/software/jdk
       export HADOOP_HOME=/software/hadoop
       export PATH=$PATH:/software/bin

注意: = 两边不能有空格,否则报错。
注释: export JAVA_HOME=${JAVA_HOME}

b)core-site.xml ,用以下配置替换文件内容

      <configuration>
        <property>
           <name>fs.default.name</name>
           <value>hdfs://localhost:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/tmp/hadoop/hadoop-${user.name}</value>
        </property>
     </configuration>

c) hdfs-site.xml,用以下配置替换文件内容 ,因为单机,所以设置文件只要保存1份,系统默认是3份:


      <configuration>
         <property>
            <name>dfs.replication</name>
            <value>1</value>
         </property>
      </configuration>
d) mapred-site.xml,用以下配置替换文件内容
        <configuration>
          <property>
               <name>mapred.job.tracker</name>
              <value>localhost:9001</value>
          </property>
       </configuration>

4、执行hadoop环境设置,并格式化hadoop文件系统,执行以下命令


      cd /software/hadoop

      source hadoop-env.sh

      hadoop namenode -format 

启动hadoop

cd /software/hadoop
./sbin/start-all.sh

[不同的版本可能,start-all.sh等文件放在不同的目录下]
在网上的教程中,一般都会新建hadoop账户,设置ssh免密登陆本机,但是自己没有设置,所以执行上面的命令后,要求输入密码,此密码就是本机的登录密码。
正确输入密码后就可以。

注意:
如果报错
[yh@localhost sbin]$ ./start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Error: Cannot find configuration directory: /etc/hadoop
starting yarn daemons
Error: Cannot find configuration directory: /etc/hadoop

这是因为使用了hadoop-env.sh默认的关于hadoop配置文件所在目录的配置,这里需要根据你自己的安装路径重新设置。
解决办法:
修改hadoop-env.sh:

export HADOOP_CONF_DIR=/software/hadoop/etc/hadoop/
source ./etc/hadoop/hadoop-env.sh

然后重新启动就可以。

参考:
hadoop在linux上单机安装过程心得
Error: Cannot find configuration directory: /etc/hadoop

版权声明:本文为博主原创文章,未经博主允许不得转载。

hadoop2.5.1单机模式简易安装教程

必要安装: JDK1.7(JDK1.6.0_20以下的话会有问题,JDK1.6.0_20以上也行) SSH client和service(hadoop通过脚本连接ssh管理远程节点) 免...
  • tinico
  • tinico
  • 2014年11月24日 09:50
  • 4525

centos单机安装Hadoop2.6

Hadoop2.6单机安装 一,安装环境  硬件:虚拟机  操作系统:Centos 6.4 64位  IP:10.51.121.10  主机名:datanode-4  安装用户:root 二,...
  • WOSHISUNXIANGFU
  • WOSHISUNXIANGFU
  • 2015年03月02日 23:18
  • 15332

hadoop2.7.3在centos7上部署安装(单机版)

(1)hadoop2.7.3下载 下载地址:http://hadoop.apache.org/releases.html (注意是binary文件,source那个是源码) (2)解压tar.gz (...
  • cafebar123
  • cafebar123
  • 2017年06月20日 21:34
  • 2149

CentOS6.5 64位安装单机版hadoop2.6教程

Hadoop2.6单机安装 安装环境 硬件:虚拟机 操作系统:Centos 6.5 64位 主机名:hadoop0 安装用户:root 主机名很重要,可以任意自定义,但是一定要记住。...
  • u010946556
  • u010946556
  • 2016年03月05日 17:27
  • 1080

Hadoop单机安装详细步骤

环境准备安装Java过程简单,这里省略具体安装步骤。安装后确认相应版本的Java已安装,这里选择1.7。java -version创建Hadoop账号为Hadoop创建一个专门的账号是很好的实践:su...
  • bingduanlbd
  • bingduanlbd
  • 2016年07月11日 00:03
  • 966

最新版hadoop2.7.1单机版与伪分布式安装配置

前提:熟悉Linux系统操作,掌握基本的Linux命令 注意:安装路径中不能有任何中文字符和空格! 我安装的是ubuntu14,用户名是ubuntu,机器名是ubuntu,hadoop的版本是hado...
  • qq_21144531
  • qq_21144531
  • 2016年01月23日 18:12
  • 3676

Ubuntu下安装Hadoophadoop-2.8.0(单机模式)

1、安装ubuntu 2、安装jdk       安装完jdk后在.bashrc文件的末尾输入下面语句配置jdk:       export JAVA_HOME=/usr/local/java/...
  • phenixzhong
  • phenixzhong
  • 2017年04月19日 11:17
  • 1702

hadoop2.6和hbase1.0单机版安装配置

环境 系统:Ubuntu 14.04 hadoop版本:2.6.0 hbase版本:1.0 jdk版本:1.8 下载地址:Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了,...
  • xanxus46
  • xanxus46
  • 2015年04月19日 23:26
  • 11979

cdh hadoop2单机安装

cdh hadoop2单机安装tar安装hadoop2软硬件准备 准备硬件(linux) 准备软件安装包,并安装基础软件(主要jdk) 将hadoop安装包分发到各个节点的同一个目录下,并解压 修改配...
  • u014047865
  • u014047865
  • 2015年10月29日 10:06
  • 692

hadoop2.6与hbase1.1.2单机版安装配置

环境: jdk版本:1.8(已完成安装及环境配置,路径:/usr/java/jdk1.8.0_65) hadoop版本:2.6.0 spark版本:1.4.1   0、创建目录 [...
  • u010035907
  • u010035907
  • 2016年01月05日 19:55
  • 1911
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop单机安装
举报原因:
原因补充:

(最多只允许输入30个字)