linux Hadoop 探索-hadoop单机模式

2019独角兽企业重金招聘Python工程师标准>>>

运行环境

ubuntu版本------ubuntukylin-14.04.2 64位版本

Hadoop版本------Hadoop2.6.4-release

虚拟机版本-------VMware Workstation Pro 12.0

Jvm版本---------Jdk1.7以上

安装步骤

1．安装ubuntu

虚拟机安装ubuntu时安装完一个虚拟机后可选择clone直接复制出来相同的克隆版本省去安装时间

安装ubuntu并建立hadoop用户，为后续集群ssh通道做预备，不建议使用root用户进行一系列操作，具体原因百度，root远程可对系统资源进行任意修改，切记，具体shell脚本如下

groupadd hadoop
useradd -mg hadoop hadoop
#-m指的是在/home/目录下新建一个与用户名相同的文件夹
#-g指的是添加用户组
passwd hadoop
#回车后将密码设置成123456 ps:密码限于开发调试，生产环境切勿大意，设立复杂度高密码保障安全

 

1．安装jvm

下载Java对应版本的tar.gz包如下图所示

 

Ps：centos下 下载rpm包可直接使用RPM命令进行安装，ubuntu下建议使用gz包进行安装，笔者尝试安装rpm插件进行rpm安装，把系统搞残了 有经验的大神欢迎留言指导，谢过了

在/usr/lib目录下新建jvm目录，将gz包解压到/usr/lib/jvm目录下，并将java-***包重命名为java 重命名命令

Mv java-***** java

打开环境变量预执行文件 gedit /etc/profile

添加这几行环境变量

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

输入命令后重启系统或者直接执行source /etc/profile 执行预加载脚本变量

 

 

输入命令java -version 打印出现如上图所示版本信息，代表jdk安装成功

2．调试hadoop单机运行

进入hadoop脚本环境配置文件

 

gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

 

 

将JAVA_HOME修改为绝对路径.

Ps:至于为什么默认配置的${JAVA_HOME}不起作用，笔者暂时未找到原因欢迎大神们进行补充

 

#配置hadoop ssh 无密码登录 --需求背景，由于hadoop集群动辙几十上百台机器进行集群计算

假如进行密钥输入认证会增加许多运维的工作量，所以社区内普遍进行公有密钥进行交换比对登录

进入hadoop用户home目录 /home/hadoop/ 找到 .ssh 目录没有则新建，注意将文件夹所有权修改为hadoop用户所有

安装ssh服务

sudo apt-get install openssh-server
sudo apt-get install openssh-client

尝试输入命令ssh localhost 出现输入密码界面则代表ssh服务端与客户端安装成功

 

l 配置免密码登录

进入hadoop用户home目录下

cd /home/hadoop

能看见.sshwe文件夹，进入.ssh文件夹

执行一下命令生成ssh免登录的公钥和私钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

这个命令会在.ssh文件夹下创建id_dsa和id_dsa.pub两个文件，这是SSH的一对私钥和公钥

现在把id_dsa.pub追加到公钥中去，执行以下命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

现在切换到hadoop用户登录，在尝试用ssh进行远程连接

ssh localhost是不是得到以下画面

 

 

代表免登录配置成功

 

进入hadoop目录/opt/hadoop/hadoop/

执行./sbin/start-all.sh 脚本启动hadoop

由于是单机运行hadoop，nameNode 和 Jobtracker都没有启动如何查看hadoop是否启动呢？

查看HDFS文件系统

./bin/hadoop fs -ls /

 

出现以上信息，恭喜，代表你单机安装hadoop成功。Hdfs文件结构就是如linux一样

 

下一章推出hadoop伪单机集群模式，敬请期待，各位看官有哪不懂或者有疑问，欢迎留言

转载于:https://my.oschina.net/blogcharles/blog/626856