Hadoop 2.6.1安装及设置

环境及软件版本

  1. CentOs 6.5
  2. hadoop-2.6.1.tar.gz
  3. jdk-7u67-linux-x64.tar.gz

JAVA的安装

以下的操作都是在root权限下
默认操作目录为:/usr/local/src

安装

解压jdk-7u67-linux-x64.tar.gz,命令如下:

tar -zxvf jdk-7u67-linux-x64.tar.gz

执行后,Java会被解压到当前目录。即:/usr/local/src/jdk1.7.0_67

添加Java环境

打开 ~/.bashrc文件,命令如下:

vim ~/.bashrc

文档最后追加如下内容,然后保存退出。

export JAVA_HOME=/usr/loca/src/jdk1.7.0_67
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$CLASSPATH/bin

使Java设置生效,命令如下:

source ~/.bashrc

查看Java版本信息,命令如下:

java -version

PS:
1. JAVA设置与windows中设置的类似
2. 注意CLASSPATH和PATH中是使用冒号作为分隔符的(windows中用的分号)
3. 引用定义的变量,如JAVA_HOME,使用$符前置于变量名(windows中使用%JAVA_HOME%)
4. 可能需要重新登录系统,才可使用:java -version

Hadoop的安装

安装

安装hadoop-2.6.1.tar.gz,命令如下:

tar -zxvf hadoop-2.6.1.tar.gz

执行后,Hadoop会被解压到当前目录:如:/usr/local/src/hadoop-2.6.1

添加Hadoop环境

打开 ~/.bashrc文件,命令如下:

vim ~./bashrc

文档最后追加如下内容,然后保存退出。

export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使Hadoop设置生效,命令如下:

source ~/.bashrc

查看Hadoop版本信息,命令如下:

hadoop version

创建Hadoop的临时目录

在hadoop-2.6.1目录下,执行命令:

mkdir tmp

Hadoop参数设置

进入hadoop-2.6.1/etc/hadoop目录对以下文件进行编辑

修改:slaves,添加

slave1
slave2

修改:hdfs-site.xml,添加

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
            <value>master:50090</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/src/hadoop-2.6.1/tmp/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/src/hadoop-2.6.1/tmp/dfs/data</value>
        </property>
</configuration>

修改:core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <!--IP以master机器IP为准-->
        <value>hdfs://192.168.230.10:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/src/hadoop-2.6.1/tmp</value>
    </property>
</configuration>

将mapred-site.xml.templates改名为mapred-site.xml并修改

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

修改:yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Hadoop在子节点上的设置

将修改完成的hadoop-2.6.1目录打包并复制到slave节点

tar -zcf ./hadoop-master.tar.gz ./hadoop-2.6.1
scp -rp hadoop-master.tar.gz slave1:/usr/local/src

在slave节点上解压hadoop-master.tar.gz

tar -zxvf hadoop-master.tar.gz

Namenode格式化

在master节点上执行namenode格式化

#hdfs namenode -format
  1. 如果提示命令找不到就是PATH中设置的Hadoop相关环境变量不正确
  2. 此命令在hadoop-2.6.1/bin下

启动进程

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

使用jps查看所有守护进程启动情况

jps -l

显示结果如下:

4900 org.apache.hadoop.hdfs.server.namenode.NameNode
5064 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
5518 org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer
5202 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
8508 sun.tools.jps.Jps

jps命令在JAVA_HOME/bin下

其他命令

查看DataNode节点是否正常

hdfs dfsadmin -report

关闭进程

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-deamon.sh stop historyserver
阅读更多
版权声明:希望我的文章对您的工作有所帮助,转载请随意。 https://blog.csdn.net/just4you/article/details/79952167
文章标签: hadoop 大数据
个人分类: Java 大数据
想对作者说点什么? 我来说一句

hadoop-2.6.1安装教程

2017年03月14日 8KB 下载

hadoop-2.6.1.tar.gz

2017年05月07日 187.98MB 下载

没有更多推荐了,返回首页

不良信息举报

Hadoop 2.6.1安装及设置

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭