Hadoop使用

Hadoop使用

安装前准备

在虚拟机中运行Hadoop

1、下载VirtualBox，创建虚拟机
2、选择操作系统、版本
3、设置内存大小
4、创建虚拟硬盘
5、选择虚拟硬盘文件类型VDI
6、虚拟硬盘选择动态分配
7、选择文件存储位置和容量大小

安装双操作系统

Hadoop安装模式

安装模式	说明
单机模式	hadoop默认模式，单Java进程，方便进行调试
伪分布式模式	Hadoop可以在单节点上以伪分布式的方式运行，节点既作为NameNode，又作为DataNaode
分布式模式	以多节点的模式运行Hadoop

Hadoop安装基本步骤

1. 创建Hadoop用户

创建新用户：

$sudo useradd -m hadoop -s /bin/bash

设置hadoop用户密码：

$sudo passwd hadoop

为hadoop增加管理员权限：

$sudo adduser hadoop sudo

2.SSH登录权限设置

配置SSH原因：Hadoop名称节点（NameNode）需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录实现。Hadoop没有提供SSH输入密码登录的形式，因此，为了能顺利登录每台机器，需要将所有机器配置为名称节点可以无密码登录

3.Java环境安装

安装OpenJDK命令：

$sudo apt-get install openjdk-7-jre openjdk-7-jdk

4.单机安装配置

• 使用虚拟机安装Hadoop的时候，需要在打开虚拟机，打开Linux系统，使用FireFox下载Hadoop。不要使用Windows系统的浏览器下载，虚拟机中的Linux无法访问外部Windows系统中的文件

1. 将Hadoop安装至 /user/local/ 中

$sudo tar -zxf~/下载/hadoop-2.6.0.tar.gz -C /user/local  #解压到 /user/local/ 中
$cd /user/local/ 
$sudo mv ./hadoop-2.6.0/ ./hadoop    #将文件夹名改为hadoop
$sudo chown -R hadoop:hadoop ./hadoop   #修改文件权限

2.检查是否可用

$cd /user/local/ hadoop
$./bin/hadoop version

5.伪分布式安装配置

Hadoop的配置文件位于/user/local/hadoop/etc/hadoop/中，伪分布式需要修改配置文件：core-site.xml、hdfs-site.xml、`mapred-site.xml

1. core-site.xml
   
2. hdfs-site.xml
   

• 三种Shell命令方式

hadoop fs：适用于任何不同的文件系统（本地文件系统和HDFS文件系统）
hadoop dfs：只适用于HDFS文件系统
hdfs dfs：只适用于HDFS文件系统