Hadoop(2.7.5)在Ubuntu 下安装(单机 、伪分布式安装)

一、创建 hadoop用户

打开终端(Ctrl+AIt+T)

命令:sudo adduser hadoop

需要输入当前用户的密码,输入之后,开始设置hadoop用户的密码,其他默认即可,最后选择 y

 二、授权hadoop用户拥有root的权限

1、首先需要先切换到具有超级管理员权限的root 

命令:sudo -s

然后输入当前用户密码

再接着输入命令:sudo gedit  /etc/sudoers    (注意:gedit 跟  /etc 之间有空格,图中有错误示范)

输完之后回车键,就会出现下图的左边部分的图片

左下图中红圈内,原本内容为:#User privilege specification

                                                       root   ALL=(ALL:ALL)ALL

现在多添加一行(赋予hadoop用户权限):hadoop ALL=(ALL:ALL)ALL

三、安装并启动SSH

1、安装ssh

   命令:sudo apt-get install openssh-server

2、安装成功之后,启动服务

    命令:sudo /etc/init.d/ssh start

3、(大数据技术原理与应用 第2版)

         对于Hadoop的伪分布和全分布,Hadoop名称节点需要启动集群中所有机器的Hadoop守护进程,这个过程可以通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式,因此为了能够顺利登录每台机器,需要将所有机器配置为名称节点可以无密码登录它们。

为了实现SSH无密码登录方式,首先要让名称节点生成自己的SSH密钥,

命令:ssh-keygen -t rsa -P ''   (ps:两个单引号 ,也可以是两个双引号)

名称节点生成自己的密钥之后,需要将它的公共密钥发送给集群中的其他机器。可以将 id_dsa.pub中的内容添加

到需要匿名登录的机器的  "  ~/ssh/authorized_keys "目录下,然后理论上名称节点就可以无密码登录这台机器了。

命令: cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

四、下载hadoop,解压并安装(版本:2.7.5)

下载地址:http://hadoop.apache.org/releases.html#Dwonload

下载之后解压,解压之后将其转移到其他位置 如 “ /usr/local/hadoop”文件夹下。

下图    原本位置:/home/hadoop/下载      转移之后 :/usr/local/hadoop

赋予hadoop用户对该文件的读写权限

命令:sudo chmod 774 /usr/local/hadoop

hadoop文件夹中的 “etc/hadoop”下的 hadoop-env.sh文件中的JAVA_HOME 改成java的路径

(/usr/lib/jvm/java-1.7.0-openjdk-amd64)【java系统已经预装好了】

 完成之后就可以查看hadoop版本了

命令:/usr/local/hadoop/bin/hadoop version

到了这一步Hadoop单机版已经完成了,接下来继续伪分布式的安装(修改参数)

五、修改core-site.xml 、hdfs-site.xml文件(路径:/usr/local/hadoop/etc/hadoop)

1、修改core-site.xml

 2、修改hdfs-site.xml

六、配置完成之后,要初始化文件系统

命令 :/usr/local/hadoop/bin/hadoop namenode -format

完成之后,启动所有的进程

命令:/usr/local/hadoop/sbin/start-all.sh

运行只有,可以输入jps查看所有的Java进程

可以访问Web界面(http://localhost:50070)

伪分布式安装ok了!

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值