首先答谢:感谢给力星所写文章的帮助
http://www.powerxing.com/install-hadoop-in-centos/
本安装教程分为两大块内容,一是基本的安装步骤,二是查阅的命令解释等,以期达到知其然亦知其所以然的目的
一、基本的安装步骤
1)创建hadoop用户,2)准备工作,3)安装Hadoop
1 创建hadoop用户,还牵扯到为hadoop用户增加管理员权限的知识
1)如果没有已创建好的hadoop用户,则使用root权限登陆,来创建这个用户,代码如下:
su root //以root用户登陆
useradd -m hadoop -s /bin/bash //创建新用户hadoop
passwd hadoop //使用该命令修改密码,按照提示输入两次密码
2)为hadoop用户增加管理员权限,方便部署,避免一些对于新手来说比较棘手的权限问题,执行:
visudo
使用“:90”直接跳到第90行,找到root ALL=(ALL) ALL这行,然后在该行下面增加一行内容: hadoop ALL=(ALL) ALL
其中的间隔为TAB
2 准备工作
1)网络连接
2)安装SSH、配置SSH无密码登陆
在单点、集群模式都需要用到SSH登陆(类似于远程登陆,可以登陆某台Linux,并且在上面运行命令),一般情况,CentOS默认安装过SSH client、SSH server,我的就是已经安装过,下面表述三个方面,检验是否安装,如未安装,怎样安装,以及如何实现无密码登陆
检验是否安装,代码如下:rpm -qa | grep ssh
如果返回如下图,则表示已安装
如未安装,可通过yum进行安装(安装过程会让输入y/n,输入y即可)
sudo yum install openssh-clients
sudo yum install openssh-server
接着执行以下命令测试SSH是否可用
ssh localhost
此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先输入 “exit” 退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit //退出刚才的ssh localhost
cd ~/.ssh/ //若没有该目录,请先执行一次ssh loacl host
ssh-keygen -t rsa //会有提示,都按回车就可以
cat id_rsa.pub >> authorized_keys //加入授权
chmod 600 ./authorized_keys //修改文件权限
此时再用ssh localhost
命令,无需输入密码即可登陆
3)安装java环境
这个方法可参考我之前的博客,要注意两点,一是hadoop版本与JDK版本要兼容,如新版本的hadoop就不再支持JDK1.6及之下的版本,二是这两个版本一般也不需要太新,特别是对于新手来说。
3 安装Hadoop
Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,本教程选择的是 2.6.0 版本,下载时请下载 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。
我们选择将 Hadoop 安装至 /usr/local/ 中:
我这里是使用连接方法,在windows环境下下载,然后在linux中通过root权限将其放在/usr/local文件夹下,具体方法请参考我之前的博客http://blog.csdn.net/qq_31382031/article/details/70187303
sudo tar -zxf hadoop-2.7.3.tar.gz //解压文件夹
sudo mv ./hadoop-2.7.3/ ./hadoop //修改文件夹名字为hadoop
sudo chown -R hadoop:hadoop ./hadoop //修改文件权限
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
二、知其所以然(待续)
1 sudo命令
sudo是linux系统管理指令,是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具,如halt,reboot,su等等。这样不仅减少了root用户的登录 和管理时间,同样也提高了安全性。sudo不是对shell的一个代替,它是面向每个命令的