Hadoop2.6.0 mac 安装

转载 2015年07月08日 12:05:53
1. 单机模式
(1) ssh设置远程登录:
xiaolan:~ xiaolan$@ssh-keygen -t rsa -P ""
xiaolan:~ xiaolan$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
登录测试 
xiaolan:~ xiaolan$ssh localhost
xiaolan:~ xiaolan$exit
(2) 安装jdk(忽略)
(3) 配置环境变量
xiaolan:~ xiaolan$vim ~/.bash_profile
输入内容:
export HADOOP_HOME=/Users/xiaolan/Applications/hadoop-2.6.0
export YARN_HOME=/Users/xiaolan/Applications/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$YARN_HOME/etc/hadoop
:wq
让环境变量生效
xiaolan:~ xiaolan$source ~/.bash_profile
(4) 配置hadoop
进入Applications/hadoop-2.6.0/etc/hadoop
xiaolan:~ xiaolan$vim hadoop-env.sh
输入内容:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home
export HADOOP_HOME=/Users/xiaolan/Applications/hadoop-2.6.0
export PATH=$PATH:/Users/xiaolan/Applications/hadoop-2.6.0/bin
:wq
让环境变量生效
xiaolan:~ xiaolan$source hadoop-env.sh
单机模式安装成功
(5) 测试
xiaolan:~ xiaolan$mkdir input
xiaolan:~ xiaolan$cp **/** input
注:随便拷贝点文件
xiaolan:~ xiaolan$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
xiaolan:~ xiaolan$cat output/*
注:成功看到结果
2. 伪分布模式
(1) 配置core-site.xml
<configuration></configuration>之间增加如下内容:
<property>

         <name>fs.default.name</name>

         <value>hdfs://localhost:9000</value>

</property>

(2) 配置yarn-site.xml

<configuration></configuration>之间增加如下内容: 

<property> 

<name>yarn.noCHdemanager.aux-services</name> 

<value>mapreduce_shuffle</value> 

</property> 

 <property> 

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value> 

</property>

(3) 创建和配置mapred-site.xml

默认/etc/hadoop文件夹下有mapred.xml.template文件,复制更改用户名mapred.xml

<configuration></configuration>之间增加如下内容: 

<property> 

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

(4) 配置hdfs-site.xml

指定主机上作为namenode和datanode的目录:

/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/name

/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/data

<configuration></configuration>之间增加如下内容:

<property>

<name>dfs.replication</name>

         <value>1</value>

     </property>

     <property>

         <name>dfs.namenode.name.dir</name>

         <value>file:/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/name</value>

     </property>

     <property>

         <name>dfs.datanode.data.dir</name>

         <value>file:/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/data</value>

</property>

(5) 格式化hdfs

xiaolan:~ xiaolan$hdfs namenode -format

(6) 启动hadoop

xiaolan:~ xiaolan$cd Applications/hadoop-2.6.0/sbin

xiaolan:sbin xiaolan$./start-dfs.sh

xiaolan:sbin xiaolan$./start-yarn.sh

浏览器打开 http://localhost:50070/,会看到hdfs管理页面

浏览器打开 http://localhost:8088/,会看到hadoop进程管理页面

(7) WordCount验证

创建input目录

xiaolan:hadoop-2.6.0 xiaolan$hadooop fs -mkdir input

fs:hadoop下的文件命令,和普通命令基本一致

拷贝文件

xiaolan:hadoop-2.6.0 xiaolan$hadooop fs -copyFromLocal README.txt input

xiaolan:hadoop-2.6.0 xiaolan$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output

xiaolan:hadoop-2.6.0 xiaolan$cat output/*

注:成功看到结果


linux:图文教程,版本较老:
http://www.linuxidc.com/Linux/2013-01/77681p4.htm
http://www.cnblogs.com/kinglau/p/3794433.html
官网安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

Eclipse配置:
http://andy-ghg.iteye.com/blog/1165453

注:
据说可以忽略:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable:

http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos


转帖:http://wollt1992.blog.163.com/blog/static/57013456201411244394378

Hadoop2.6.0在MAC下伪分布安装

一、配置ssh,无密码登录 1、mac开启ssh 2. mac上已经ssh了,在终端输入ssh-keygen -t rsa命令,碰到需要输入密码的直接按enter健即可。以rsa算法,生成公钥、私钥...

mac 10.10安装hadoop 2.6.0以及配置伪节点

一、先到官方网站下载最新稳定版hadoop,目前最新的稳定版为2.6.0,网络上很多资料还是2.0以前版本的,所以很多配置目录对不上,博主也是看了官方的文档来进行配置,在这里记录下来,也是为了以后配置...

Hadoop学习笔记———《Mac OS X 下hadoop2.6.0安装教程》

官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.ht...

mac hadoop2.6.0 lib/native

  • 2016年07月02日 13:35
  • 742KB
  • 下载

mac下 eclipse+hadoop2.6.0完全配置,实例验证

最近开始自己搞hadoop实战的一些东西,之前其实已经接触了很久的mapreduce的一些方法,也写了比较多的算法了 但是一直没有很理论的研究过,准备在这个月里面完整的记录一下这方面的理论知识 简述安...

mac下hadoop 2.6.0编译native library

一、为什么要编译native librarymac单机模式安装Hadoop后启动,报错:WARN util.NativeCodeLoader: Unable to load native-hadoop...

hadoop 2.6.0 64位安装包

  • 2014年12月23日 13:37
  • 48B
  • 下载

mac 上protobuf-2.6.0安装步骤

注:参考  http://www.cnblogs.com/yuhan-TB/p/4629362.html 我自己的brew安装踩坑了~ 所以就采取了跟Ubuntu下相似的安装方式,这里做一下笔记。...

安装配置Hadoop2.6.0(完全分布式)

我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoo...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop2.6.0 mac 安装
举报原因:
原因补充:

(最多只允许输入30个字)