hadoop安装02

原创 2016年05月31日 18:34:53

Hadoop伪分布式安装

step1 完成单机模式安装

参考Hadoop单机安装 , 文章没有特殊说明当前操作的目录 ,都是在$HADOOP_PREFIX下面进行操作 。

step2 设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_PREFIX/lib

vim /opt/hadoop-2.6.4/etc/hadoop/hadoop-env.sh ,替换export JAVA_HOME=${JAVA_HOME}为以下内容

export JAVA_HOME=/usr/local/jdk1.7.0_79

step3 配置

vim $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml ,打开hdfs-site.xml ,配置一下内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

vim $HADOOP_PREFIX/etc/hadoop/core-site.xml ,打开core-site.xml ,配置一下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

step4 设置ssh无密码登陆

执行一下命令 ,配置ssh无密码登陆

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证ssh无密码登陆

ssh localhost

step5 启动停止dfs

  1. 格式化文件

    
    # bin/hdfs namenode -format
    
  2. 启动 NameNode后台进程和DataNode后台进程

    
    # sbin/start-dfs.sh
    
  3. 通过浏览器访问nameNode ,默认地址 http://{ip}:50070/
  4. 在HDFS上创建目录执行MapReduce作业

    # bin/hdfs dfs -mkdir /user
    # bin/hdfs dfs -mkdir /user/root
    # bin/hdfs dfs -mkdir /user/hadoop
    # bin/hdfs dfs -ls /user
  5. 把本地文件系统中etc/hadoop文件夹下面的文件拷贝到HDFS下 , 如果hdfs指定路劲不是绝对路径, 默认拷贝到/user//下制定的文件夹中

    # bin/hdfs dfs -put etc/hadoop input
    # bin/hdfs dfs -ls /user/root/input
    # bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'
  6. 查看mapreduce执行结果 ,把output文件夹从分布式文件系统拷贝到本地文件并查看他们的内容 :或者直接在hdfs中查看内容

    
    # bin/hdfs dfs -get output output 
    
    
    # cat output/*
    
    
    # bin/hdfs dfs -cat output/*
    
    
  7. 有始有终, 停止NameNode,DataNode等所有的进程

    
    # sbin/stop-dfs.sh
    

相关文章推荐

[Hadoop培训笔记]02-HDFS集群的安装与部署

注:开源力量Hadoop Development网络培训,链接:http://new.osforce.cn/course/52  个人笔记,不具参考性。...

Hadoop权威指南(中文版)02

  • 2011年08月31日 10:08
  • 17.12MB
  • 下载

hadoop 实战 dev_02

  • 2014年04月29日 22:19
  • 1.42MB
  • 下载

hadoop2.5.2学习14--MR之协同过滤天猫推荐算法实现02

2.3 第三个mapreduce, 计算物品的同现矩阵根据第二个mapreduce的输出:每个用户的购买情况u26 i276:1,i201:1,i348:1,i321:1,i136:1,分析i276:...

hadoop开发02d

  • 2014年09月04日 00:21
  • 53.09MB
  • 下载

hadoop开发02e

  • 2014年09月04日 00:25
  • 32.21MB
  • 下载

2-5HDFS的java接口(Hadoop系列day02)

java接口操作hdfs新建项目java project 保证jdk版本和以后Linux中jdk版本一直(大版本一致即可)导入jar包new folder lib 将jar包放在这个lib文件...

2-2.HDFS的shell操作(Hadoop系列day02)

oohdfs:建立在Linux系统之上的一个分布式文件系统 通过命令行的方式来操作hdfs查看是否启动Hadoop 关闭Hadoop 单独启动hdfs查看启动的服务查看hdfs根目录查看hd...

实战hadoop海量数据处理系列02: hql执行工具

实战hadoop海量数据处理系列02: hql执行工具本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。在阅读本文前,强烈建议阅读原书“实现数据分析工具...
  • titer1
  • titer1
  • 2017年06月07日 10:58
  • 571

Hadoop-0.20.0源代码分析(02)

UserGroupInformation类定义了一个与文件系统相关的用户和组信息抽象的内容,Hadoop框架实现了一个基于Unix系统的用户和组信息的实现类UnixUserGroupInformati...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop安装02
举报原因:
原因补充:

(最多只允许输入30个字)