Hadoop实战-中高级部分 之 Hadoop 集群安装

原创 2013年12月02日 09:59:54
第一部分:环境规划
•用户 test 密码 test
•机器
   主机名 IP 角色
bigdata-1
 
172.16.206.205
NameNode JobTraker
Sencondary NameNode
bigdata-2
 
172.16.206.231 DataNode TaskTracker
•NameNode元数据目录
•/home/test/dfs/namenode
•DataNode 数据存放目录
•/home/test/dfs/datanode
•Sencondary NameNode
•/home/test/dfs/sencondnode
            
           
第二部分:安装JDK并配置环境变量
安装 JDK 并配置环境变量
 
•2 台机器做同样的事情
•更改执行权限
•chmod +x jdk-6u24-linux-i586.bin
•安装
•./jdk-6u24-linux-i586.bin
•配置环境变量
•Home路径下,打开.bashrc文件,命令如下
•vi .bashrc
•添加JAVA环境变量
•export JAVA_HOME=/home/hadoop/java
•export PATH=$JAVA_HOME/bin:$PATH
 
 
第三部分:建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1
$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2
             
      
第四部分:安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
•解压Hadoop,到/home/test路径下
• tar zxvf hadoop-1.0.0.tar.gz
•建立软连接
•ln –s   hadoop-1.0.0  hadoop
•配置环境变量
•vi  .bashrc
•添加如下内容
          export HADOOP_CORE_HOME=/home/test/ hadoop
          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
 
 
第五部分:配置Hadoop集群
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata-1:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
        <value>/home/test/dfs/sencondnode</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
            <name>dfs.name.dir</name>
     <value>/home/test/dfs/namenode </value>
</property>
<property>
             <name>dfs.data.dir</name>
             <value> >/home/test/dfs/datanode</value>
</property>
<property>
      <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>
  
mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>bigdata-1:9001</value>
</property>
</configuration>
master与slaves
•master
     文件添加内容如下
                   bigdata-1
•    Slaves
     文件添加内容如下
                    bigdata-2
Hadoop-env.sh
•export JAVA_HOME=/home/tes/soft/java
 
第六部分:启动Hadoop集群
启动Hadoop集群
•hadoop namenode -format
•start-all.sh
•start-dfs.sh start-mapred.sh
•hadoop-deamon.sh start  namenode
                                              datanode
                                              jobtracker
                                              tasktracker
                                              sencondnamenode
  
第七部分:测试WordCount 程序 
测试WordCount 程序
•hadoop fs –mkdir input
•hadoop fs –put test.txt input
•hadoop jar  hadoop-examples-*.jar   wordcount  input output
 

转载请注明出处【   http://sishuok.com/forum/blogPost/list/0/5969.html 】

Hadoop HA高可用集群搭建(2.7.2)

1.集群规划: 2.前期准备: 3.搭建zookeeper集群(drguo3/drguo4/drguo5)
  • Dr_Guo
  • Dr_Guo
  • 2016年03月24日 22:33
  • 12011

Ambari部署hadoop完全分布式集群

Ambari部署hadoop完全分布式集群
  • Dopamy_BusyMonkey
  • Dopamy_BusyMonkey
  • 2016年02月18日 18:38
  • 5707

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
  • dream_an
  • dream_an
  • 2016年10月27日 16:12
  • 18591

Cloudera Hadoop 集群安装(三台机器)

简述:Hadoop的安装对环境有比较高的要求,需要比较大的内存,一般的机器很难满足,一个人也很难有两三台独立的主机,所以只能选择使用安装虚拟机的方式安装,但是主机的内存需要在8G以上。如果小于8G可以...
  • zpf336
  • zpf336
  • 2016年11月21日 20:11
  • 1961

[原创] Centos 安装部署 Hadoop 集群和 hive

Centos 7.3 安装部署 Hadoop集群环境部署Server: Centos 7.3 (CPU:1 Core Mem: 1G Disk: 40G) Hadoop: 2.8.0 Hive: 2....
  • u012731379
  • u012731379
  • 2017年05月25日 18:26
  • 277

hadoop 集群安装(三) hbase安装

继上篇博客介绍《hadoop集群安装(二)HA部署》后,本节介绍在hadoop集群安装HBase。         1.下载解压文件到制定目录: wget http://apache....
  • u012466304
  • u012466304
  • 2017年12月23日 15:16
  • 49

使用 Ambari 安装 Hadoop 集群

一.环境:    1.Ubuntu 14.04    2.Ambari 2.5.0   3.JDK1.8 二:说明:   1.使用 root 用户   2.如果仅用作 demo 使用,不建议单机开多台...
  • lc0817
  • lc0817
  • 2017年06月29日 18:38
  • 770

HADOOP 集群安装配置

先更一篇以前写的hadoop安装配置的文章吧,文章中部分内容是摘抄的,但是实践可行,估计在未来一定时间里可能不会接触大数据相关的东西了,准备补一补一些基础知识。 好了下面是正文:准备工作 原料: ...
  • u011662632
  • u011662632
  • 2015年08月07日 21:52
  • 112

Hadoop 集群安装详细步骤

本文所使用的版本是 hadoop 1.0.0,即 2011年12月27日发布的1.0正式版。 详细安装步骤如下,有大步骤,每个步骤里面有小步骤,绝大部分是必选,只有2步是可选的,红色部分表示要特别注...
  • soulmachine
  • soulmachine
  • 2012年01月04日 10:14
  • 1493

浪潮英信服务器-安装hadoop 集群 jbod 磁盘模式

记录一次安装20170419 服务器是浪潮英信服务器  4*300G+2*1T  安排 2*300G做raid1 安装系统盘 其余磁盘作为jbod 模式 放hadoop数据文件 因为hadoop自身...
  • ma_yan368
  • ma_yan368
  • 2017年04月19日 21:54
  • 385
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop实战-中高级部分 之 Hadoop 集群安装
举报原因:
原因补充:

(最多只允许输入30个字)