Hadoop的基本使用（1）——环境搭建、HDFS的简单使用

Hadoop HDFS 简介

概念：
namenode：负责记录 数据块 的分布情况– 数据元数据信息
datanode:负责实际存储 数据块
block：是Hadoop最小存储数据单位 默认 128M
secondarynamenode: 辅助namenode完成fsimage管理或者优化

hadoop搭建步骤

环境：

CentOS6.5 32位
JDK 1.7 （在/root/.bashrc下配置环境变量）

CLASSPATH=.
JAVA_HOME=/usr/jdk1.7.0_65
PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH
export JAVA_HOME
export PATH

（注：为了方便访问关闭防火墙）

配置SSH免密码登录：

如果想使用A机器免密码登录B机器
①在A机器上生成 公私钥对

//生成公私钥对 -t 算法【dsa/rsa】 -P 密码 -f 生成的公私钥对放在哪
[root@CentOSA ~]# ssh-keygen -t dsa -P '' -f .ssh/id_dsa

②配置本机主机名和ip的映射

[root@CentOSA ~]# vi /etc/hosts
192.168.111.129 主机名

（注：修改主机名/etc/sysconfig/network）

③上传hadoop-2.X.tar.gz并解压到/usr目录下

[root@CentOSA ~]# tar -zxf hadoop-2.6.0.tar.gz -C /usr/

④修改hadoop配置文件 etc/hadoop/core|hdfs-site.xml,slaves

<!--core-site.xml-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://CentOSA:9999</value>
</property>

<!--hdfs-site.xml 配置的是整个HDFS相关运行参数-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<!--slaves文本文件 该文件配置的是datanode的主机名-->
CentOSA

Hadoop（HDFS）的启动与停止

启动 hadoop（hdfs）：

*注意一般在第一次启动HDFS的时候我们需要生成namenode所需要的镜像文件fsimage，这个过程一般被称为–namenode的格式化

格式化namenode

 [root@CentOSA hadoop-2.6.0]# ./bin/hdfs namenode -format

启动hadoop

[root@CentOSA hadoop-2.6.0]# ./sbin/start-dfs.sh 

附：正常情况会启动三个进程 namenode，datanode，secondarynamenode

[root@CentOSA hadoop-2.6.0]# jps
1548 DataNode
1458 NameNode
1850 Jps
1743 SecondaryNameNode

停止 hadoop（hdfs）：

[root@CentOSA hadoop-2.6.0]# ./sbin/stop-dfs.sh 

Hadoop（HDFS）的shell命令

[root@CentOSA hadoop-2.6.0]# ./bin/hdfs dfsadmin --help
[root@CentOSA hadoop-2.6.0]# ./bin/hefs dfs --help

window下Hadoop开发

window下环境搭建
1.将hadoop-2.6.0.tar.gz解压在本地的C:/
2.配置HADOOP_HOME环境变量
3.根据系统特征拷贝winutils.exe 和hadoop.dll文件到hadoop的 bin
配置系统JRE 要求JDK1.7 并且配置default VM arguments
-DHADOOP_USER_NAME=root

补充：
core-site.xml
fs.trash.interval 开启回收站