hadoop环境搭建和基本测试

一、环境准备：

1.准备环境

    centos 、jdk7（配置环境变量尽量在root/.bashrc，如果配置在/etc/profile或者/root/.bashrc_profile,必须在启动hadoop的时候

   需要修改headoop-env.sh添加JAVA_HOME环境变量.,）、其他依赖环境如gcc

2.解压hadoop-2.6.0.tar.gz到usr（我习惯解压到usr下）

3.关闭防火墙（为了做测试用，关闭防火墙）

4.做本机的免密码登录（一定做密码登录，不然Hadoop集群受影响）

   生成公私钥对   ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa

    添加信任        cat .ssh/id_dsa.pub >> .ssh/authorized_keys

    测试 ssh ip

5.配置本机主机名 在 /etc/hosts配置主机名

192.168.23.20  yecy

  映射IP 在 etc/sysconfig/network

HOSTNAME=yecy

6 .配置Hadoop:

  ①/usr/hadoop-2.6.0/etc/hadoop/core-site.xml

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://主机名:9999</value>

    </property>

  ②/usr/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

   <property>

        <name>dfs.replication</name>

        <value>1</value>

   </property>

  ③/usr/hadoop-2.6.0/etc/hadoop/slaves  

   将localhost修改为 主机名

7. 格式化hadoop的namenode 只需要在第一次搭建hadoop集群的时候执行

   ./bin/hdfs namenode -format

作用:是生成namenode所需的fsimage镜像文件 默认/tmp/hadoop-用户名

8.启动、关闭Hadoop

./sbin/start-dfs.sh     ./sbin/stop-dfs.sh

9.启动成功三个线程 jps 或者地址栏 IP：50070

2333 NameNode
2586 SecondaryNameNode
2426 DataNode

问题：

如果以上是Centos32位没什么事，如果是64位，需要在Hadoop安装目录的lib和lib/native添加64位lib包 下载地址 http://dl.bintray.com/sequenceiq/sequenceiq-bin/

  （1.）   tar -xvf hadoop- native - 64 - 2.7 . 0 .tar -C hadoop- 2.7 . 2 /lib/ native  

        tar -xvf hadoop- native - 64 - 2.7 . 0 .tar -C hadoop- 2.7 . 2 /lib

  （2.）改变环境变量

        export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/ native   

        export HADOOP_OPTS= "-Djava.library.path=$HADOOP_HOME/lib"

   （3.）环境变量生效

二、基本测试

   1.配置Hadoop环境变量：HADOOP_HOME F:\hadoop-2.6.0

2.方便本地开发，需要在IDE工具中引入Hadoop的jar包是common和hdfsj的ar包，分别在解压后的F:\hadoop-2.6.0下的share下Hadoop里边，

3.添加完成自定义jar包后，开始基本的测试，有创建文件夹，删除，上传、下载。可以查看Hadoop官网，

我做一个创建，和上传

创建并判断是否存在

上传

下载只是API不一样，请自行测试，

接下来的篇章会继续Hadoop入门篇章字符统计和求城市温度最大以及联合订单查询！