hadoop集群基本配置（大数据学习跟进）

最近在学习hadoop。网上具体过程很多，我就说说简单过程和注意问题。

今天学了下基本配置，主要配置dfs、mapreduce。

环境：宿主机（windows64），虚拟机（centos64）

准备软件：

1、Vmware——虚拟机

2、centos镜像文件——centos熟悉点

3、hadoop包——用的是1.1.2版本（主要是这个版本资料较多）

4、jdk——hadoop需要java支持

5、ssh secure client——windows操作虚拟机所用

一、Vmware

1、选择虚拟机属性，网络适配器选择桥接模式

二、centos

1、设置网络

最好设置为静态ip，且设置之前最好在windows下ping一下你想设置的Ip，免得出现ip冲突

关闭防火墙 service iptables stop

2、检查网络

虚拟机与宿主互ping成功后，说明网络配置成功。

3、可能问题

linux、windows防火墙未关闭

虚拟机网络连接方式有问题

三、安装jdk

1、用ssh client将jdk文件上传至虚拟机，我选择的目录是/local。

2、修改 /etc/profile文件

增加 export JAVA_HOME = /local/jdk

 export PATH=.:$PATH:$JAVA_HOME/bin

3、测试成功

shell下输入java、javac等

4、注意问题

记的source /etc/profile哦

四、设置DNS解析

1、修改 /etc/hosts

  增加 192.168.1.30master

增加 192.168.1.31slave

2、测试

ping master 成功即可

五、设置ssh免密码登陆

1、生成秘钥

cd ~/.ssh

ssh-keygen -t rsa

各种回车就行

2、生成授权文件

cp id_rsa.pub authorized_keys

3、在主节点和从节点都进行1、2动作

4、在主节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub slave

5、在从节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub master

6、测试

互相ssh，看需不需要密码

六、安装hadoop

1、同jdk安装一样，配置相应的环境变量

2、环境变量

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

3、测试

shell下输入hadoop

七、修改配置文件

1、环境脚本文件hadoop-env.sh 

修改 export JAVA_HOME=/local/jdk，记的删掉"#"

2、修改core-site.xml

 <property>

      <name>fs.default.name</name>          //配置NN节点地址和端口号

      <value>master:9000</value> //注意格式必须是host:port的形式

</property>

<property>

      <name>hadoop.tmp.dir</name>          //hadoop临时目录用来存放nn临时文件

      <value>/local/hadoop/tmp</value>     //该目录必须预先手工创建不能删除

</property>

3、修改hdfs-site.xml

<property>
       <name>dfs.replication</name>    //数据节点冗余备份的数量，由于实验只有2个
       <value>3</value>               // NN顾设置唯一，实际配置是可由实际情况
</property>                        //配置，建议尽量大于3

4、修改mapred-site.xml

<property>   	
	<name>mapred.job.tracker</name>
	<value>master:9001</value> //jobTracker访问路径
</property> 

5、在主节点修改masters.xml 

localhost 
6、拷贝到从节点

  scp -r /local/hadoop/conf root@slave:/local/hadoop 
7、在从节点修改slaves.xml 

localhost

 slave 

八、格式化系统 

1、hadoop namenode -format 
九、启动 
1、start-all.sh 
2、检测 
jps 
主节点有namenode datanode jobtracker tasktracker secondaryNameNode 
从节点有datanode tasktracker 
十、哦了