搭建虚拟机
1.建立一个新的虚拟机
2.修改主机名称(为了以后使用方便,也可以不改) vi /etc/sysconfig/network
3.配置网络信息 vi /etc/sysconfig/network-scripts/ifcfg-eth0
其中IPADDR为网路IP地址,NETMASK为网络掩码,GATEWAY是网关,DNS1与网关一样,
在这些操作完成之后重启网络服务 : service network restart,完成之后ping一个网址,如ping www.baidu.com 如果ping通了说明网络配置完成
安装hadoop
-
要进行安装java环境
将jdk中的安装包通过xftp6上传至linux系统 -
解压
tar -zxvf jdk -
配置环境变量
export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH= P A T H : PATH: PATH:JAVA_HOME/binsource /etc/profile-----让环境变量生效
注:
用户变量 .bashrc
系统变量 /etc/profile -
上传hadoop包
tar -zxvf hadoop-2.6.5.tar.gz -
bin—系统的操作命令(文件的增删改查)
sbin–系统的管理命令(集群的启动、关闭)
etc/hadoop—配置信息1、slaves---节点(DN) 2、hdfs-site.xml <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> //secondaryNamenode <value>node01:50090</value> //这里要改 </property> 3、core-site.xml <property> <name>fs.defaultFS</name> //namenode <value>hdfs://node01:9000</value> //这里要改 </property> <property> <name>hadoop.tmp.dir</name> //namenode启动后产生的信息 <value>/var/abc/hadoop/local</value> </property> 4、 把*-env.sh的文件内部所有的java路径改为绝对路径 hadoop-env.sh mapred-env.sh yarn-env.sh
配置免密登录
(1)配置免密登录 node01->node01 根目录 cd .ssh ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 yes ssh 节点名
-
格式化
cd /opt/software/hadoop-2.6.5/bin/
hdfs namenode -format-----让所有文件生效
cd /var/abc/hadoop/local/dfs/name/current/ -
启动命令
cd /opt/software/hadoop-2.6.5/sbin
./start-dfs.sh
jsp -
配置hadoop的环境变量
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin