hadoop安装02

Hadoop伪分布式安装

step1 完成单机模式安装

参考Hadoop单机安装 , 文章没有特殊说明当前操作的目录 ,都是在$HADOOP_PREFIX下面进行操作 。

step2 设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_PREFIX/lib

vim /opt/hadoop-2.6.4/etc/hadoop/hadoop-env.sh ,替换export JAVA_HOME=${JAVA_HOME}为以下内容

export JAVA_HOME=/usr/local/jdk1.7.0_79

step3 配置

vim $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml ,打开hdfs-site.xml ,配置一下内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

vim $HADOOP_PREFIX/etc/hadoop/core-site.xml ,打开core-site.xml ,配置一下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

step4 设置ssh无密码登陆

执行一下命令 ,配置ssh无密码登陆

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证ssh无密码登陆

ssh localhost

step5 启动停止dfs

  1. 格式化文件

    
    # bin/hdfs namenode -format
    
  2. 启动 NameNode后台进程和DataNode后台进程

    
    # sbin/start-dfs.sh
    
  3. 通过浏览器访问nameNode ,默认地址 http://{ip}:50070/
  4. 在HDFS上创建目录执行MapReduce作业

    # bin/hdfs dfs -mkdir /user
    # bin/hdfs dfs -mkdir /user/root
    # bin/hdfs dfs -mkdir /user/hadoop
    # bin/hdfs dfs -ls /user
  5. 把本地文件系统中etc/hadoop文件夹下面的文件拷贝到HDFS下 , 如果hdfs指定路劲不是绝对路径, 默认拷贝到/user//下制定的文件夹中

    # bin/hdfs dfs -put etc/hadoop input
    # bin/hdfs dfs -ls /user/root/input
    # bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'
  6. 查看mapreduce执行结果 ,把output文件夹从分布式文件系统拷贝到本地文件并查看他们的内容 :或者直接在hdfs中查看内容

    
    # bin/hdfs dfs -get output output 
    
    
    # cat output/*
    
    
    # bin/hdfs dfs -cat output/*
    
    
  7. 有始有终, 停止NameNode,DataNode等所有的进程

    
    # sbin/stop-dfs.sh
    
阅读更多
文章标签: hadoop
个人分类: Hadoop安装
想对作者说点什么? 我来说一句

hadoop安装最终版.doc

2011年03月17日 212KB 下载

hadoop安装笔记

2014年07月23日 1.51MB 下载

hadoop快速入门

2013年03月20日 588KB 下载

Hadoop在win7详细安装

2014年07月03日 5.64MB 下载

单节点Hadoop安装手册

2012年06月05日 220KB 下载

linux下的hadoop安装及配置详解

2017年07月13日 830KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭