Hadoop实战-中高级部分 之 Hadoop 集群安装

原创 2013年12月02日 09:59:54
第一部分:环境规划
•用户 test 密码 test
•机器
   主机名 IP 角色
bigdata-1
 
172.16.206.205
NameNode JobTraker
Sencondary NameNode
bigdata-2
 
172.16.206.231 DataNode TaskTracker
•NameNode元数据目录
•/home/test/dfs/namenode
•DataNode 数据存放目录
•/home/test/dfs/datanode
•Sencondary NameNode
•/home/test/dfs/sencondnode
            
           
第二部分:安装JDK并配置环境变量
安装 JDK 并配置环境变量
 
•2 台机器做同样的事情
•更改执行权限
•chmod +x jdk-6u24-linux-i586.bin
•安装
•./jdk-6u24-linux-i586.bin
•配置环境变量
•Home路径下,打开.bashrc文件,命令如下
•vi .bashrc
•添加JAVA环境变量
•export JAVA_HOME=/home/hadoop/java
•export PATH=$JAVA_HOME/bin:$PATH
 
 
第三部分:建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2
             
      
第四部分:安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
•解压Hadoop,到/home/test路径下
• tar zxvf hadoop-1.0.0.tar.gz
•建立软连接
•ln –s   hadoop-1.0.0  hadoop
•配置环境变量
•vi  .bashrc
•添加如下内容
          export HADOOP_CORE_HOME=/home/test/ hadoop
          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
 
 
第五部分:配置Hadoop集群
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata-1:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
        <value>/home/test/dfs/sencondnode</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
            <name>dfs.name.dir</name>
     <value>/home/test/dfs/namenode </value>
</property>
<property>
             <name>dfs.data.dir</name>
             <value> >/home/test/dfs/datanode</value>
</property>
<property>
      <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>
  
mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>bigdata-1:9001</value>
</property>
</configuration>
master与slaves
•master
     文件添加内容如下
                   bigdata-1
•    Slaves
     文件添加内容如下
                    bigdata-2
Hadoop-env.sh
•export JAVA_HOME=/home/tes/soft/java
 
第六部分:启动Hadoop集群
启动Hadoop集群
•hadoop namenode -format
•start-all.sh
•start-dfs.sh start-mapred.sh
•hadoop-deamon.sh start  namenode
                                              datanode
                                              jobtracker
                                              tasktracker
                                              sencondnamenode
  
第七部分:测试WordCount 程序 
测试WordCount 程序
•hadoop fs –mkdir input
•hadoop fs –put test.txt input
•hadoop jar  hadoop-examples-*.jar   wordcount  input output
 

转载请注明出处【   http://sishuok.com/forum/blogPost/list/0/5969.html 】

相关文章推荐

[原创] Centos 安装部署 Hadoop 集群和 hive

Centos 7.3 安装部署 Hadoop集群环境部署Server: Centos 7.3 (CPU:1 Core Mem: 1G Disk: 40G) Hadoop: 2.8.0 Hive: 2....

Cloudera Hadoop 集群安装(三台机器)

简述:Hadoop的安装对环境有比较高的要求,需要比较大的内存,一般的机器很难满足,一个人也很难有两三台独立的主机,所以只能选择使用安装虚拟机的方式安装,但是主机的内存需要在8G以上。如果小于8G可以...
  • zpf336
  • zpf336
  • 2016年11月21日 20:11
  • 1606

HADOOP 集群安装配置

先更一篇以前写的hadoop安装配置的文章吧,文章中部分内容是摘抄的,但是实践可行,估计在未来一定时间里可能不会接触大数据相关的东西了,准备补一补一些基础知识。 好了下面是正文:准备工作 原料: ...

Hadoop 集群安装详细步骤

本文所使用的版本是 hadoop 1.0.0,即 2011年12月27日发布的1.0正式版。 详细安装步骤如下,有大步骤,每个步骤里面有小步骤,绝大部分是必选,只有2步是可选的,红色部分表示要特别注...

浪潮英信服务器-安装hadoop 集群 jbod 磁盘模式

记录一次安装20170419 服务器是浪潮英信服务器  4*300G+2*1T  安排 2*300G做raid1 安装系统盘 其余磁盘作为jbod 模式 放hadoop数据文件 因为hadoop自身...

使用 Ambari 安装 Hadoop 集群

一.环境:    1.Ubuntu 14.04    2.Ambari 2.5.0   3.JDK1.8 二:说明:   1.使用 root 用户   2.如果仅用作 demo 使用,不建议单机开多台...
  • lc0817
  • lc0817
  • 2017年06月29日 18:38
  • 527

Hadoop 集群与管理

  • 2017年11月15日 12:56
  • 1.05MB
  • 下载

hadoop 集群搭建

  • 2013年05月09日 11:13
  • 15KB
  • 下载

Hadoop 集群 Hive 部署,安装mysql metastore

Hadoop 集群 Hive 部署,安装mysql metastore

hadoop 集群搭建

  • 2015年04月17日 23:34
  • 10KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop实战-中高级部分 之 Hadoop 集群安装
举报原因:
原因补充:

(最多只允许输入30个字)