大数据集群安装（一）

本次

本次测试计划以 Hadoop + Sqoop 实现。先在虚拟机上安装Hadoop，再安装Sqoop。

一、安装Java

版本：jdk-8u121-linux-x64.tar

安装路径： /usr/local/java

gzsheng@gzsheng-virtual-machine:/usr/local$ sudo mkdir java

gzsheng@gzsheng-virtual-machine:/usr/local$ sudo tar -zxf jdk-8u121-linux-x64.tar.gz 

gzsheng@gzsheng-virtual-machine:/usr/local$ sudo ln -s /usr/local/java/jdk1.8.0_121/ /usr/jdk

配置环境变量：

UBUNTU自带的VIM编辑器是tiny版，使用很别扭，使用命令: sudo apt-get install vim-gtk

详细情况可参考：http://jingyan.baidu.com/article/046a7b3efd165bf9c27fa915.html

另有两个版本之间的差异说明：http://www.cnblogs.com/mo-wang/p/4550859.html

#java configuration
export JAVA_HOME=/usr/jdk
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

gzsheng@gzsheng-virtual-machine:/usr/local$ java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

网上关于在环境变量配置文件主要有两个说法：

1、在~/.bashrc配置

2、在/etc/profile配置

所有用户每次登陆都会读取/etc/profile信息，而各个登陆用户都会读取各自的~/.bashrc文件，如果是自己配置的虚拟机，又创建了多个用户，那么环境变量配置在/etc/profile里，如果是在公司里，那么要根据实际情况判断。

另，如果要安装Hadoop，要在~/.bashrc文件添加JAVA_HOME环境变量。

安装SSH、配置SSH互信

hadoop@gzsheng-virtual-machine:~$ sudo apt-get install openssh-server 

可以使用ssh localhost登陆本机

一、安装Hadoop

实验环境：

物理机系统：Windows 10

虚拟环境：VMware Workstation 12 Pro + Ubuntu 16.04 LTS

事前准备：配置SSH无密码登陆 + 安装JAVA 1.8.0_121

安装版本：hadoop-2.7.2

本次安装Hadoop按照给力星的教程进行。

安装时遇到的问题：

1、安装Java时参考网上别人的教程，添加JAVA_HOME环境变量时，修改/etc/profile文件，给力星的教程上是在~/.bashrc文件中添加。

开启NameNode和DataNode守护进程

./sbin/start-dfs.sh

出现：Error: JAVA_HOME is not set and could not be found. 

在~/.bashrc中添加JAVA_HOME后再次执行成功

Sqoop安装步骤后续添加

安装sqoop一定要注意变更安装目录的所有者

sudo chown -R hadoop /usr/local/sqoop2

没有变更前，一直提示：

 Directory /usr/local/sqoop/@BASEDIR@/repository/db cannot be created.
  Failed to create database '@BASEDIR@/repository/db', see the next exception for details.

改好之后就成功了。