hadoop安装02

原创 2016年05月31日 18:34:53

Hadoop伪分布式安装

step1 完成单机模式安装

参考Hadoop单机安装 , 文章没有特殊说明当前操作的目录 ,都是在$HADOOP_PREFIX下面进行操作 。

step2 设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_PREFIX/lib

vim /opt/hadoop-2.6.4/etc/hadoop/hadoop-env.sh ,替换export JAVA_HOME=${JAVA_HOME}为以下内容

export JAVA_HOME=/usr/local/jdk1.7.0_79

step3 配置

vim $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml ,打开hdfs-site.xml ,配置一下内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

vim $HADOOP_PREFIX/etc/hadoop/core-site.xml ,打开core-site.xml ,配置一下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

step4 设置ssh无密码登陆

执行一下命令 ,配置ssh无密码登陆

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证ssh无密码登陆

ssh localhost

step5 启动停止dfs

  1. 格式化文件

    
    # bin/hdfs namenode -format
    
  2. 启动 NameNode后台进程和DataNode后台进程

    
    # sbin/start-dfs.sh
    
  3. 通过浏览器访问nameNode ,默认地址 http://{ip}:50070/
  4. 在HDFS上创建目录执行MapReduce作业

    # bin/hdfs dfs -mkdir /user
    # bin/hdfs dfs -mkdir /user/root
    # bin/hdfs dfs -mkdir /user/hadoop
    # bin/hdfs dfs -ls /user
  5. 把本地文件系统中etc/hadoop文件夹下面的文件拷贝到HDFS下 , 如果hdfs指定路劲不是绝对路径, 默认拷贝到/user//下制定的文件夹中

    # bin/hdfs dfs -put etc/hadoop input
    # bin/hdfs dfs -ls /user/root/input
    # bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'
  6. 查看mapreduce执行结果 ,把output文件夹从分布式文件系统拷贝到本地文件并查看他们的内容 :或者直接在hdfs中查看内容

    
    # bin/hdfs dfs -get output output 
    
    
    # cat output/*
    
    
    # bin/hdfs dfs -cat output/*
    
    
  7. 有始有终, 停止NameNode,DataNode等所有的进程

    
    # sbin/stop-dfs.sh
    

Hadoop 安装Snappy

Ubuntu Hadoop 安装Snappy
  • zhangchao_0316
  • zhangchao_0316
  • 2017年03月16日 21:23
  • 166

2016.11.11 链接阶段的工作+gcc01,02,03级优化分别优化的是什么+-static的作用

 链接阶段 在成功编译之后,就进入了链接阶段。在这里涉及到一个重要的概念:函数库。 读者可以重新查看这个小程序,在这个程序中并没有定义”printf”的函数实现,且在预编译中包含进的”std...
  • the_lion_song
  • the_lion_song
  • 2016年11月11日 22:00
  • 536

Hadoop安装

一:环境准备1:准备虚拟机一台,我安装的是redhat6.4的32位操作系统。2:修改hostname。使用命令hostname localhost(如需重启后生效,可以修改配置文件/etc/sysc...
  • lfsf802
  • lfsf802
  • 2014年04月26日 20:09
  • 1492

HADOOP安装

(1)下载hadoop 进入Apache官网,进行下载 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop...
  • qq_30481793
  • qq_30481793
  • 2017年04月02日 10:05
  • 131

hadoop单机安装配置及测试通过

单机hadoop安装配置及测试通过,下面我把步骤一一写出来 一、实验环境 1.安装环境简介 物理笔记本:i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统 ...
  • myamor
  • myamor
  • 2012年12月08日 17:25
  • 300

hadoop 安装教程

当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上...
  • wermnb
  • wermnb
  • 2016年06月16日 12:43
  • 2710

成功安装hadoop集群

之前学习了一段时间的hadoop,最近想总结一下自己的成果,便用写博客的方式去复习。hadoop入门难就难在搭建集群。初学的开发人员大可不必去研究hadoop安装,可以先往后面学习。所以这里总结had...
  • lightj1996
  • lightj1996
  • 2017年03月27日 10:33
  • 153

hadoop安装

virtualbox 主机虚拟机互ping通,虚拟机可以上网 ssh连接设置 win7 virtualbox4.2.18 vdi 克隆 导入 win7 virtualbox centos6.2 安...
  • lydyangliu
  • lydyangliu
  • 2013年10月05日 20:26
  • 843

Hadoop单机版安装

以前对Hadoop有过一点了解,但没有深入,现在越来越感觉这东西挺有意思的,打算学习下,前两天买了两本Hadoop相关的书,先粗略的翻了下,今天就动手先把环境搭起来。       环境:centos6...
  • jarth
  • jarth
  • 2016年09月29日 17:38
  • 310

android 6.0获取mac 地址都是02:00:00:00:00:00 的问题

最近国外的客户反馈Android6.0提交的数据都提交到同一个mac地址的数据库去了,原来Android6.0之后用原来的方法获取得到的mac地址都是02:00:00:00:00:00 。获取蓝牙的m...
  • wwdlss
  • wwdlss
  • 2016年10月25日 10:27
  • 6046
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop安装02
举报原因:
原因补充:

(最多只允许输入30个字)