虚拟机环境搭建Hadoop集群
———————基础环境搭建-------------------
虚拟机网络设置:
桥接模式的话会生成一个MAC地址与虚拟机对应
NAT模式一般常用
重启生效:service iptables start
Centos6.5环境
1、关闭防火墙
chkconfig iptables on/off
2、更新yum源
/etc/yum.repos.d/CentOS-Base.repo ---根据Linux系统版本选取
yum clean all
3、关闭防火墙:chkconfig iptables off
4、配置jdk
配置网卡:(复制虚拟机环境需要操作)
记录硬件地址:ifconfig -a —> HWaddr 如:00:1C:42:DF:4C:81
1)cd /etc/sysconfig/network-scripts/
2)cp ifcfg-eth0 ifcfg-eth1
3)修改DEVICE 和HWaddr 与之对应。
4)service network restart 重启网卡
配置vim /etc/hosts:域名解析(以作者环境ip为例)
10.211.55.10 hadoop hadoop
10.211.55.9 hadoop01 hadoop01
10.211.55.11 hadoop02 hadoop02
5、配置免密登陆
ssh-keygen -t rsa
ssh-copy-id hadoop01 将公钥copy到免密登陆的服务器上
----------------hadoop集群环境----------------
1、将已编译好的64位hadoop放/export/servers下并对bin sbin配置好环境变量,如果没有编译64位、请自行编译或下载已编译好的进行部署。
2、修改配置文件 /hadoop2.x.x/etc/:
1) hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_121/
2)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value> 副本数量
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop01:50090</value>
</property>
</configuration>
3) core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/data/hadoop/tmp</value>
</property>
</configuration>
4) mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5) mapred-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_121/
6) yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
格式化namenode: hdfs namenode -format
启动hadoop:
start-dfs.sh
start-yarn.sh 启动mapreduce
补充:Hadoop shell 常用命令:
hadoop fs -ls /
hadoop fs -lsr / 递归查看目录结构
hadoop fs -du -h 统计目录文件大小
hadoop fs -rmr 递归删除
hadoop fs -put <源文件> <hdfs路径> 上传文件
hadoop fs -copyFromLocal <源文件> <hdfs路径>
stop-dfs.sh
jps
Demo词频统计
hadoop jar hadoop-mapreduce-examples-2.6.1.jar wordcount /data/hdfsInput /data/hdfsOutput
hadoop后台: