关闭

hadoop编程入门学习笔记-1 安装运行hadoop

标签: hadoopMapRediucehadoop集群安装
577人阅读 评论(0) 收藏 举报
分类:

一、基础环境

  主机 虚拟机1 虚拟机2 虚拟机3
名称   hadoop.master hadoop.slave01 hadoop.slave02
IP 192.168.206.1 192.168.206.120 192.168.206.121 192.168.206.122
操作系统 win7 64位 centOS 6.4 64位 centOS 6.4 64位 centOS 6.4 64位
CPU核 i5 4核 1 1 1
RAM 8 GB 2 GB 2 GB 2 GB
硬盘 1T 20 GB 20 GB 20 GB
         

二、安装配置

1. 在三个虚拟机上创建hadoop组和hadoop用户, 创建完后用id hadoop看一下,我的机器上是uid=500(hadoop) gid=5000(hadoop) 组=500(hadoop)
    
su - 
groupadd hadoop
useradd -g hadoop hadoop

2. 配置hadoop.master、hadoop.slave01、hadoop.slave02三个虚拟机免密码登录
    1) 在/etc/hosts文件增加以下3行(3台机器上都要增加) 
   192.168.206.120  hadoop.master
   192.168.206.121  hadoop.slave01
   192.168.206.122  hadoop.slave02
   2)生成authorized_keys文件
在hadoop.master的 /home/hadoop目录下执行  ssh-keygen -t rsa 遇提问,直接回车,在~/.ssh目录下得到id_rsa,id_rsa.pub两个文件
     在hadoop.master的/home/hadoop目录下执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 在~/.ssh目录下得到authorized_keys文件
     在hadoop.slave01、hadoop.slave02 的/home/hadoop目录下执行  ssh-keygen -t rsa 遇提问,直接回车,在~/.ssh目录下得到id_rsa,id_rsa.pub两个文件
     在hadoop.master的/home/hadoop目录下执行 scp ~/.ssh/authorized_keys hadoop@hadoop.slave01:~/.ssh ,拷贝authorized_keys文件到hadoop.slave01/home/hadoop/.ssh/authorized_keys
     在hadoop.slave01的/home/hadoop目录下执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
     在hadoop.slave01的/home/hadoop目录下执行 scp ~/.ssh/authorized_keys hadoop@hadoop.slave02:~/.ssh ,拷贝authorized_keys文件到hadoop.slave02/home/hadoop/.ssh/authorized_keys
     在hadoop.slave02的/home/hadoop目录下执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    在hadoop.slave02的/home/hadoop目录下执行 scp ~/.ssh/authorized_keys hadoop@hadoop.slave01:~/.ssh ,拷贝authorized_keys文件到hadoop.slave01/home/hadoop/.ssh/authorized_keys
    在hadoop.slave02的/home/hadoop目录下执行 scp ~/.ssh/authorized_keys hadoop@hadoop.master:~/.ssh ,拷贝authorized_keys文件到hadoop.master/home/hadoop/.ssh/authorized_keys
     在hadoop.master、hadoop.slave01、hadoop.slave02上执行chmod 700 ~/.ssh和chmod 600 ~/.ssh/authorized_keys/home/hadoop
 
3. 在hadoop.maste的主目录(/home/hadoop)下建目录cloud,将软件hadoop-2.6.0.tar.gz用tar命令解压缩到/home/hadoop/cloud目录,用mv命令对解压缩后的目录改名为hadoop,更改后的目录为/home/hadoop/cloud/hadoop
4. 配置core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop.master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/cloud/hdtmp</value>
    </property>
</configuration>
5.配置hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/cloud/hdname</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/cloud/hddata</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/cloud/hdtmp/</value>
    </property>
</configuration>
6.配置mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
7.配置yarn-site.xml
<configuration>
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hadoop.master</value>
   </property>

    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop.master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
         <value>hadoop.master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop.master:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>${hadoop.tmp.dir}/nodemanager/local</value>
    </property>
    <property>
        <name>yarn.nodemanager.address</name>
        <value>0.0.0.0:8034</value>
    </property>
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>${hadoop.tmp.dir}/nodemanager/remote</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>${hadoop.tmp.dir}/nodemanager/logs</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
</configuration>
8.配置masters
hadoop.master
9.配置slaves
hadoop.slave01
hadoop.slave02
10.配置环境变量
export JAVA_HOME="/usr/lib/jvm/jre-1.7.0-openjdk.x86_64"
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
export HADOOP_HOME=/home/hadoop/cloud/hadoop
export PATH=.:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

三、启动、停止

1.格式化namenode
hadoop namenode -format
2. 启动(脚本在/homd/hadoop/cloud/hadoop/sbin目录)
start-dfs.sh
start-yarn.sh

3.停止

stop-yarn.sh
stop-dfs.sh

4.用命令查看

hadoop.master

$ jps
3885 SecondaryNameNode
5497 Jps
4070 ResourceManager
3724 NameNode
hadoop.slave01

$jps
3716 NodeManager
4464 Jps
3594 DataNode
hadoop.slave02
$jps
3716 NodeManager
4700 Jps
3600 DataNode

<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">5. 用web ui 查看</span>

http://hadoop.master:8088


http://hadoop.master:50070



0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

hadoop学习之一:mac下hadoop安装

这篇文章主要介绍了mac下Hadoop独立模式的安装,为后面学习MapReduce做准备。因为一直挂着代理,所以不保证下面的链接在墙内可以打开 前置知识点  学校图书馆借了一两本书阅览了一下,大...
  • clypm
  • clypm
  • 2017-06-12 10:54
  • 1494

Hadoop使用学习笔记(1)

Hadoop使用学习笔记1.Hadoop安装与基本概念Hadoop发行版本地址1.1环境配置需求本文是用的Hadoop版本是最新的2.7.2发行版。 本文分两个机器环境,分别是研发环境和测试环境:本...
  • zhxdick
  • zhxdick
  • 2016-07-18 15:29
  • 7370

大数据学习笔记——hadoop1.2.1 eclipse_plugin编译、安装及使用

hadoop自带了eclipse的插件,但是其jar包需要我们自己对其提供的源码进行编译,在hadoop的src/contrib/目录下可以看到eclipse-plugin文件夹,此中包含的即是我们所...
  • fengshuiyue
  • fengshuiyue
  • 2016-03-15 14:22
  • 1854

hadoop编程入门学习笔记-3 开发MapReduce程序

Hadoop Streaming 和 Python
  • hjh00
  • hjh00
  • 2015-07-29 17:21
  • 623

hadoop编程入门学习笔记-4 ChainMapper、DistributedCache和Context

ChainMapper、DistributedCache和Context
  • hjh00
  • hjh00
  • 2015-11-17 20:30
  • 892

Hadoop入门系列1—— 安装,配置,编程,部署和运行

Hadoop综述:将网格计算,并行计算和虚拟化等技术融为一体的云计算技术已经成为时下存储和处理海量数据的最佳选择之一。Hadoop的开源,高性能,高容错,跨平台等特点使其成为架构分布式云计算平台的首选...
  • suixinsuoyuwjm
  • suixinsuoyuwjm
  • 2012-03-11 16:06
  • 741

Hadoop学习笔记之如何运行一个MapReduce程序

Hadoop学习笔记之如何运行一个MapReduce程序        MapReduce可以分为两个阶段来处理,一个阶段为map,另一个阶段为reduce.每个阶段都有键值对的输入和输出参数,...
  • accptanggang
  • accptanggang
  • 2015-03-02 16:49
  • 769

Hadoop学习笔记:(一)WordCount运行

前言:本文是在hadoop已经配置好的情况下WordCount是hadoop下的HelloWorld程序,是初学者必须要会的。下面是用eclipse进行开发一、工程与MapReduce代码 新建工...
  • lilianforever
  • lilianforever
  • 2016-07-10 10:51
  • 700

【hadoop学习笔记】4.eclipse运行wordcount实例

新建一个hadoop工程,如图 建一个运行wordcount的类,先不管他什么意思,代码如下 /** * Project: hadoop * * File Created at...
  • qyongkang
  • qyongkang
  • 2012-05-28 22:38
  • 6812

Hadoop学习笔记之四:运行MapReduce作业做集成测试

Hadoop学习笔记之四:运行MapReduce作业做集成测试 引言 通过本系列的前篇文章用MRUnit做单元测试介绍可以很容易对MapReduce进行单元测试,这很必要,可以较早...
  • java43135
  • java43135
  • 2012-11-30 10:36
  • 654
    个人资料
    • 访问:94246次
    • 积分:1836
    • 等级:
    • 排名:千里之外
    • 原创:94篇
    • 转载:0篇
    • 译文:0篇
    • 评论:16条
    文章分类
    最新评论