hadoop ubantu环境搭建_ubuntu下hadoop安装与配置

安装前的建议：

将 vm 虚拟机连上网络后，在 secureRCT 中连接ubuntu，然后进行编写。 secureCRT 可以直接复制代码，如果在ubuntu桌面就必须纯手打代码，无法将外部浏览器的内容复制进去。

利用 secureRCT 可以进行 windows 与 linux 文件传输，比如在 windows 系统安装了 jdk1.8 要上传到 linux 系统，则需要用到 secureRCT.

一、创建hadoop用户

$ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell

$ sudo passwd hadoop #为hadoop用户设置密码，之后需要连续输入两次密码

$ sudo adduser hadoop sudo #为hadoop用户增加管理员权限

$ su - hadoop #切换当前用户为用户hadoop

$ sudo apt-get update #更新hadoop用户的apt,方便后面的安装

二、安装SSH,设置SSH无密码登陆

$ sudo apt-get install openssh-server #安装SSH server

$ ssh localhost #登陆SSH，第一次登陆输入yes

$ exit #退出登录的ssh localhost

$ cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost

$ ssh-keygen -t rsa

输入完 $ ssh-keygen -t rsa　语句以后，需要连续敲击三次回车，如下图

其中，第一次回车是让KEY存于默认位置，以方便后续的命令输入。第二次和第三次是确定passphrase，相关性不大。

两次回车输入完毕以后，如果出现类似于下图所示的输出，即成功：

然后继续输入：

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权

$ ssh localhost #此时已不需密码即可登录localhost，并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

在此之前先将jdk安装好

三、安装hadoop-2.6.0

$ sudo tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local #解压到/usr/local目录下

$ cd /usr/local

$ sudo mv hadoop-2.6.0 hadoop #重命名为hadoop

$ sudo chown -R hadoop ./hadoop

安装好后，在hadoop用户下给hadoop配置环境变量，若用户不是hadoop则输入 su - hadoop切换用户

切换完成后输入 vi /etc/profile(权限要求root)

在文件底部添加

export HADOOP_HOME=/usr/local/hadoopexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

：wq 保存文件后执行source /etc/profile使设置生效。

安装完成后输入 hadoop version 查看:

四、伪分布式配置

1、先将 jdk1.8 的路径添加到 hadoop-env.sh 中

2、修改core-site.xml文件：

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://localhost:9000

wq保存

3、接下来修改配置文件 hdfs-site.xml

dfs.replication

1

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

配置完成后，执行 NameNode 的格式化

hdfs namenode -format

然后启动namenode和datanode进程，并查看启动结果

$ start-dfs.sh

$ jps

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”

进入ubuntu-Firefox中输入http://localhost:50070，若出现以下画面，则代表hadoop配置成功