hadoop-2.3.0-cdh5.1.0伪分布安装(基于centos)

一、环境

操作系统:CentOS 6.5 64位操作系统

 注:Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉,重新安装

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

软件版本:hadoop-2.3.0-cdh5.1.0.tar.gz, zookeeper-3.4.5-cdh5.1.0.tar.gz

下载地址:http://archive.cloudera.com/cdh5/cdh/5/

开始安装:

二、jdk安装

1、检查是否自带jdk

rpm -qa | grep jdk

java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 

2、卸载自带jdk

yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

或:

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

3、安装jdk-7u55-linux-x64.tar.gz

在usr/目录下创建文件夹java,在java文件夹下运行tar –zxvf jdk-7u55-linux-x64.tar.gz

解压到java目录下

[root@master01 java]# ls

jdk1.7.0_55

三、配置环境变量

运行vim  /etc/profile

# /etc/profile

# System wide environment and startup programs, for login setup

# Functions and aliases go in /etc/bashrc

export JAVA_HOME=/usr/java/jdk1.7.0_55
export JRE_HOME=/usr/java/jdk1.7.0_55/jre
export CLASSPATH=/usr/java/jdk1.7.0_55/lib
export PATH=$JAVA_HOME/bin: $PATH


保存修改,运行source /etc/profile 重新加载环境变量

运行java -version

[root@master01 java]# java -version

java version "1.7.0_55"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)

Jdk配置成功

四、系统配置

1 、关闭防火墙

chkconfig iptables off(永久性关闭)

配置主机名和hosts文件

2、SSH无密码验证配置

因为Hadoop运行过程需要远程管理Hadoop的守护进程,NameNode节点需要通过SSH(Secure Shell)链接各个DataNode节点,停止或启动他们的进程,所以SSH必须是没有密码的,所以我们要把NameNode节点和DataNode节点配制成无秘密通信,同理DataNode也需要配置无密码链接NameNode节点。

在每一台机器上配置:

vi /etc/ssh/sshd_config打开

RSAAuthentication yes # 启用 RSA 认证,PubkeyAuthentication yes # 启用公钥私钥配对认证方式

Master01:运行:ssh-keygen -t rsa -P ''  不输入密码直接enter

默认存放在 /root/.ssh目录下,

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[root@master01 .ssh]# ls

authorized_keys  id_rsa  id_rsa.pub  known_hosts

如果不是root用户安装(本例默认root用户安装),需要放开权限,执行以下命令:

chmod 755 .ssh
chmod 600 ~/.ssh/authorized_keys

五、hadoop伪分布式配置

5.1 编辑文件: etc/hadoop/hadoop-env.sh (注:JAVA_HOME如果有值就用自己的JAVA_HOME替代)

# set to the root ofyour Java installation
  export JAVA_HOME=/usr/java/latest
 
  # Assuming your installation directory is/usr/local/hadoop
  export HADOOP_PREFIX=/usr/local/hadoop


 

5.2 增加hadoop环境变量

export HADOOP_HOME=/usr/local/cdh/hadoop

5.3

编辑文件  etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>


 

编辑  etc/hadoop/hdfs-site.xml(/usr/local/cdh/hadoop/data/dfs/name目录一定要手工创建再格式化,不然出错)

<configuration> 
 <property> 
    <!--开启web hdfs--> 
    <name>dfs.webhdfs.enabled</name> 
    <value>true</value> 
 </property>
 <property> 
   <name>dfs.replication</name> 
   <value>1</value> 
 </property>
 <property> 
    <name>dfs.namenode.name.dir</name> 
    <value>/usr/local/cdh/hadoop/data/dfs/name</value> 
    <description> namenode 存放name table(fsimage)本地目录(需要修改)</description> 
 </property> 
 <property> 
     <name>dfs.namenode.edits.dir</name> 
     <value>${dfs.namenode.name.dir}</value> 
     <description>namenode粗放 transactionfile(edits)本地目录(需要修改)</description> 
  </property> 
  <property> 
      <name>dfs.datanode.data.dir</name> 
      <value>/usr/local/cdh/hadoop/data/dfs/data</value> 
      <description>datanode存放block本地目录(需要修改)</description> 
  </property>
</configuration>


 

编辑 :etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


编辑:etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>


 

六:启动及验证安装是否成功

 格式化:要先格式化HDFS:

 bin/hdfs namenode -format

启动:

  sbin/start-dfs.sh
  sbin/start-yarn.sh

 查看进程:jps

7448 ResourceManager

8277 SecondaryNameNode

7547 NodeManager

8079 DataNode

7975 NameNode

8401 Jps

 
 
 
1.   打开浏览器
  NameNode - http://localhost:50070/
2.   创建文件夹
3.    $bin/hdfs dfs -mkdir /user
  $ bin/hdfs dfs -mkdir /user/<username>
4.   Copy 文件
  $ bin/hdfs dfs -put etc/hadoop input
5.   运行作业
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.1.0.jar grep input output 'dfs[a-z.]+'
6.   查看输出
  $ bin/hdfs dfs -get output output
  $ cat output/*

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值