关闭

hadoop安装02

标签: hadoop
142人阅读 评论(0) 收藏 举报
分类:

Hadoop伪分布式安装

step1 完成单机模式安装

参考Hadoop单机安装 , 文章没有特殊说明当前操作的目录 ,都是在$HADOOP_PREFIX下面进行操作 。

step2 设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_PREFIX/lib

vim /opt/hadoop-2.6.4/etc/hadoop/hadoop-env.sh ,替换export JAVA_HOME=${JAVA_HOME}为以下内容

export JAVA_HOME=/usr/local/jdk1.7.0_79

step3 配置

vim $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml ,打开hdfs-site.xml ,配置一下内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

vim $HADOOP_PREFIX/etc/hadoop/core-site.xml ,打开core-site.xml ,配置一下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

step4 设置ssh无密码登陆

执行一下命令 ,配置ssh无密码登陆

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证ssh无密码登陆

ssh localhost

step5 启动停止dfs

  1. 格式化文件

    
    # bin/hdfs namenode -format
    
  2. 启动 NameNode后台进程和DataNode后台进程

    
    # sbin/start-dfs.sh
    
  3. 通过浏览器访问nameNode ,默认地址 http://{ip}:50070/
  4. 在HDFS上创建目录执行MapReduce作业

    # bin/hdfs dfs -mkdir /user
    # bin/hdfs dfs -mkdir /user/root
    # bin/hdfs dfs -mkdir /user/hadoop
    # bin/hdfs dfs -ls /user
  5. 把本地文件系统中etc/hadoop文件夹下面的文件拷贝到HDFS下 , 如果hdfs指定路劲不是绝对路径, 默认拷贝到/user//下制定的文件夹中

    # bin/hdfs dfs -put etc/hadoop input
    # bin/hdfs dfs -ls /user/root/input
    # bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'
  6. 查看mapreduce执行结果 ,把output文件夹从分布式文件系统拷贝到本地文件并查看他们的内容 :或者直接在hdfs中查看内容

    
    # bin/hdfs dfs -get output output 
    
    
    # cat output/*
    
    
    # bin/hdfs dfs -cat output/*
    
    
  7. 有始有终, 停止NameNode,DataNode等所有的进程

    
    # sbin/stop-dfs.sh
    
1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2965次
    • 积分:147
    • 等级:
    • 排名:千里之外
    • 原创:11篇
    • 转载:0篇
    • 译文:1篇
    • 评论:0条
    文章分类