Hadoop 2.7.2 开发环境配置（Mac 10.11.5）

1. 
－－－－－－－－－－－－－－－－－
Hadoop272开发环境（Mac）：

 
[1]. ssh安装以及免密码登录设置
[[1]]测试：ssh localhost
会有错误提示信息，表示当前用户没有权限。更改设置： 系统偏好设置->共享->勾选"远程登录"-> ，设置允许访问所有用户。
[[2]]#配置免密钥登陆
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_key
ssh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。
这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。
接下来，将公钥追加到授权的key中去， 
 


[2].系统配置文件中加入环境变量：
 
hadoop安装目录:
export HADOOP_HOME=/Users/simope/liugf/Hadoop_dev/hadoop/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin






[3].--- 配置文件<在Hadoop->conf目录下>－－－
 
 
#创建目录
cd /Users/simope/liugf/Hadoop_dev/hadoop
mkdir tmp
mkdir -p hdfs/name
mkdir hdfs/data




 
＝＝＝＝＝＝＝＝＝＝＝＝
伪分布式：Pseudo-Distributed 伪分布模式，
单节点上同时启动NameNode、DataNode、ResourceManager、NodeManager、Secondary Namenode等进程，
模拟分布式运行的各个节点。---本地开发环境建议采用这种方式

 
配置hadoop-env.sh:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home
??export HADOOP_HEAPSIZE=2000
?? export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"（去掉注释） 
注意第三个配置在OS X上最好进行配置，否则会报“Unable to load realm info from SCDynamicStore”。

另外： /usr/libexec/java_home -V   查看所有版本的JAVA_HOME


使配置生效
source etc/hadoop/hadoop-env.sh



配置core-site.xml:

<property>
   <name>hadoop.tmp.dir</name>
   <value>/Users/simope/liugf/Hadoop_dev/hadoop/tmp/hadoop-${user.name}</value>
   <description>A base for other temporary directories.</description>
</property>
<property>  
       <name>fs.default.name</name>  
       <value>hdfs://localhost:9000</value>  
</property>

配置hdfs-site.xml
设置hdfs的默认备份方式。默认值是3，在伪分布式系统中，需要修改为1

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/Users/simope/liugf/Hadoop_dev/hadoop/hdfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/Users/simope/liugf/Hadoop_dev/hadoop/hdfs/data</value>
</property>


配置mapred-site.xml:

 
   <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
   </property>
   <property>


<name>mapreduce.framework.name</name>
<value>yarn</value>


</property>
 
配置yarn-site.xml,配置NodeManager
<!-- Site specific YARN configuration properties --> 
  <property> 
         <name>yarn.nodemanager.aux-services</name> 
         <value>mapreduce_shuffle</value> 
  </property> 


 
[5].安装HDFS（即格式化）：
 
hadoop namenode -format

[6].启动Hadoop:
启动服务

在$HADOOP_HOME下执行start-all.sh 启动hadoop集群，
 


顺利的话，一般会让你输入三次账号的密码。




查看进程，看到如下进程说明已经安装成功
MacBook-Pro:hadoop Administrator$ jps
696 DataNode
972 Jps
874 ResourceManager
780 SecondaryNameNode
632 NameNode
944 NodeManager

有的说：
可以用自带的例子试验一下：
hadoop version

$hadoop jar $HADOOP_HOME/hadoop-example-1.0.4.jar pi 10 100

hadoop jar ./hadoop-examples-1.2.1.jar pi 10 100


查看hadoop管理界面
1.可以在http://localhost:50070 看到hdfs管理页面，http://localhost:8088 看到hadoop进程管理页面。
  2.http://127.0.0.1:8088/,查看 All Application
  可以通过 http://matraxa:50070 查看namenode 状态


  http://localhost:50030 查看 JobTracke状态 




[7].调试：



 Hadoop源码编译（Mac）
 
 (1).插件编译
 ----------------------
[1].Ant,并增加环境变量
export ANT_HOME=/Users/simope/liugf/Hadoop_dev/apache-ant-1.9.7
export PATH=${PATH}:${ANT_HOME}/bin
[2].Eclipse插件编译 (2.x.x)－－按照说明
导入eclipse


 (2).Hadoop编译
-----------------------
[1]brew
[2]安装 protobuf250(必须此版本),maven,

brew tap homebrew/versions
brew install protobuf250

install maven,或源码安装


openssl:: Before running cmake, run export OPENSSL_ROOT_DIR=$(brew --prefix openssl) in the same terminal session.

  [3] 编译
  http://www.4e00.com/blog/java/2016/01/26/unable-to-load-native-hadoop-library.html
  
  
  
 (3).Eclipse开发环境验证
  编译---
  调试---
 
 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

 


－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－




继续过程：


单机模式：Standalone 单机模式，仅用于调试 [默认即单机模式]

分布式：Fully-Distributed 完全分布式模式，真正的hadoop集群

eclipse--链接hdfs

1. Hadoop生产环境-Hadoop用户组
2. 配置文件版本目录外－－－模式配置文件转换
3. Hadoop插件学习