大数据之Hadoop环境搭建

Hadoop由GNU / Linux平台及其版本支持。因此，我们必须安装一个Linux操作系统来设置Hadoop环境。如果您有除Linux以外的操作系统，您可以在其中安装Virtualbox软件，并在Virtualbox内部安装Linux。

安装前设置

在将Hadoop安装到Linux环境之前，我们需要使用ssh（Secure Shell）来设置Linux。按照以下步骤设置Linux环境。

创建用户

在开始时，建议为Hadoop创建一个单独的用户，以便将Hadoop文件系统与Unix文件系统隔离。按照以下步骤创建用户：

使用命令“su”打开根。

使用命令“useradd username”从root帐户创建用户。

现在您可以使用命令“su username”打开现有的用户帐户。

打开Linux终端并键入以下命令以创建用户。

$ su password: # useradd hadoop # passwd hadoop New passwd: Retype new passwd

SSH设置和密钥生成

需要SSH设置在集群上执行不同的操作，如启动，停止，分布式守护程序shell操作。要对Hadoop的不同用户进行身份验证，需要为Hadoop用户提供公钥/私钥对，并与不同的用户共享。

以下命令用于使用SSH生成键值对。将公共密钥表单id_rsa.pub复制到authorized_keys，并分别向拥有者授予authorized_keys文件的读取和写入权限。

$ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys

安装Java

Java是Hadoop的主要先决条件。首先，您应该使用命令“java -version”验证系统中是否存在java。 java版本命令的语法如下。

$ java -version

如果一切正常，它会给你以下输出。

java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果系统中没有安装java，请按照以下步骤安装java。

第1步

通过访问以下链接http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html下载java（JDK - X64.tar.gz）。

然后jdk-7u71-linux-x64.tar.gz将下载到您的系统。

第2步

通常你会在下载文件夹中找到下载的java文件。使用以下命令验证它并解压缩jdk-7u71-linux-x64.gz文件。

$ cd Downloads/ $ ls jdk-7u71-linux-x64.gz $ tar zxf jdk-7u71-linux-x64.gz $ ls jdk1.7.0_71 jdk-7u71-linux-x64.gz

第3步

要使java可用于所有用户，您必须将其移动到位置“/ usr / local /”。打开root，然后键入以下命令。

$ su password: # mv jdk1.7.0_71 /usr/local/ # exit

第4步

要设置PATH和JAVA_HOME变量，请将以下命令添加到〜/ .bashrc文件。