Ubantu14.04中安装Hadoop-2.6伪分布式

1、首先下载更新apt—get,sudo apt-get update 后边会用到这个命令下载软件

2、ssh免密登录

(1)执行ssh-keygen产生秘钥将秘钥写到文件id_rsa.pub中

(2)执行cat ./id_rsa.pub >> ./authorized_keys 

(3)测试ssh localhost如果成功那么恭喜你,如果还需要密码则很可能是文件以及文件夹权限问题

先将.ssh目录权限是755id_rsa的权限设置为600,其余文件权限是644.如下图所示

然后重试ssh localhost成功。

3、设置root用户密码, sudo passwd root然后键入自己的密码。用root用户登录su root,操作这样比较方便。

4、Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
(1)修改配置文件 core-site.xml 

在<configuretion> </configuration>中间添加如下配置

<span style="white-space:pre">	</span><property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
(2)修改配置文件 hdfs-site.xml,同样在<configuretion> </configuration>中间添加如下配置:

<span style="white-space:pre">	</span><property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>

5、 配置完成后,执行 NameNode 的格式化:

进入bin目录执行./bin/hdfs namenode -format。接着开启 NameNode 和 DataNode 守护进程。

进入sbin目录执行start-dfs.sh

/hdfs namenode -format


-m hadoop -s /bin/bash

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值