Hadoop伪分布式

Ubuntu 14.04 64位

Ubuntu 16.04 64位

Hadoop 2.6.0    

Hadoop 2.7.1

实践前提：熟悉linux环境，基本命令，如果不熟悉linux命令，配置起来很费力

Hadoop安装包 hadoop-2.7.1.tar.gz

 

Ubuntu 14.04 64 位 作为系统环境

Hadoop 2.7.1 版本

确保系统处于联网状态下

 

本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12.04，Ubuntu16.04 也行，32位、64位均可），但是对应的系统要安装对应位的 文件

本教程基于原生Hadoop2，可以适用于Hadoop 2.x.y版本，如Hadoop 2.7.1 ， Hadoop 2.6.1 , Hadoop 2.4.1

Hadoop 版本：新版兼容旧版

 

一 Ubuntu系统环境的安装

• Ubuntu 14.04 64位
• 配置： 
  • 内存 4g
  • 硬盘 20g （ swap交换区512MB，剩下的都留给 / ）
  • 联网方式： NAT桥接

二 安装ssh，配置ssh无密码登录

• Hadoop 14.04

1.创建hadoop用户

• 在安装hadoop前需要添加一个 名为 hadoop 的用户
• sudo useradd -m hadoop -s /bin/bash
• sudo passwd hadoop
• sudo useradd hadoop sudo

2.更新apt

• sudo apt-get update

  • 出现Hash校验不符：

    • 没联网
    • 源有问题，换源
• 换源之后记得再次 update

3.安装ssh服务

• sudo apt-get install openssh-server
• 安装之后登录本机
• ssh localhost
• ssh localhost 登录每次都需要密码，所以最好配置 ssh 免密登录

4.配置ssh免密登录

• exit 先退出 ssh localhost
• cd ~/.ssh  ( 安装ssh服务后，ssh localhost 会在 家目录下自动生成一个 .ssh 文件夹，如果没有，则 再次执行一下 ssh localhost )
• 生成密匙 并将 密匙 加入 授权 
  • ssh-keygen -t rsa
  • id_rsa.pub 加入授权

https://blog.csdn.net/wh_19910525/article/details/7433164

keygen __ key generator      -t type rsa|dsa    

5.安装Java环境  ( 实验中有三种安装方式，但是这里只用了离线安装，apt-get install 在线安装没看 ）

Java环境其实也就是在Ubuntu下安装java虚拟机,即安装jdk

https://blog.csdn.net/u014470361/article/details/88049410

http://blog.sina.com.cn/s/blog_65a8ab5d0101f35l.html

usr = unix system resource

JDK 1.8 安装包 jdk-8u162-linux-x64.tar.gz     jdk 是分平台的 windows， linux

1.解压JDK

• jdk是下载到hadoop用户的home目录下的downloads下的，但是我们需要将其解压到 系统的lib库中
• 安装到 /usr/lib 下
• 在 系统的lib库中 创建一个 jvm 文件夹 java virtual machine
• 将 JDK 1.8 解压 到 jvm 中
  • tar -zxvf jdk-8u162-linux-x64.tar.gz -C  /usr/lib/jvm             C change
• 进入 jvm 文件夹中 查看 是否 已经 解压成功 jdk1.8.0——162

2.配置hadoop用户的环境变量  ( 注意 这个是 hadoop 用户的 bashrc ， root 或者其他用户不具备 ） 

hadoop用户的环境变量在 其 家目录的 .bashsrc 下 

需要配置的是 java路径（其实就是jdk的主目录），jre的路径

JAVA_HOME = jdk的安装的 绝对路径， jre 是 在 jdk下的一个子目录

JRE_HOME = ${ JAVA_HOME }/jre

PATH = $PATH: 

https://blog.csdn.net/weixin_41792166/article/details/79450825

• vim /.bashrc
  • export JAVA_HOME = /usr/lib/jvm/jdk-xxxx
  • export JRE_HOME = ${ JAVA_HOME }/jre                     可不可以有空格？
  • export CLASSPATH = .:${JAVA_HOME}/lib:${JRE_HOME}/lib 可不可以有空格？
  • export PATH = ${ JAVA_HOME } /bin: $PATH 可不可以有空格？
  • lib_library 库 ，  bin_binary 二进制的可以执行的文件 即 命令
• 配置好环境变量后需要 source .bashrc 文件
• jdk 解压后 其实就是个文件夹， 进入jdk的主文件夹就可以 运行其 java程序了，但是 因为想要在任何一个目录下都可以运行 java，所以才配置 环境变量 .bashrc
• 导入路径并且可以 找到 对应的文件夹
• 验证是否成功 java -verison

6.基本配置完毕，开始安装Hadoop