hadoop集群搭建的三种模式
-
Local (Standalone) Mode:
本地模式
[Hadoop被配置为作为单个Java进程以非分布式模式运行。主要用于debug] -
Pseudo-Distributed Mode:
伪分布模式
[Hadoop伪分布模式运行在单节点上,每个hadoop守护进程占用单独的java进程] -
Fully-Distributed Mode:
完全分布式模式
搭建伪分布模式
搭载环境
CentOS 6.8 + hadoop 2.7.3 + JDK1.8
在自建用户下进行搭建
,本次实例用户:dragon
安装目录在:/home/dragon/soft 自建的soft目录下
具体步骤
- 安装jdk
- 下载jdk安装包 jdk-8u121-linux-x64.tar.gz
- 将jdk安装包复制到 ~/soft/
命令语句:cp jdk-8u121-linux-x64.tar.gz ~/soft/
- 对安装包解压缩
命令语句:tar -zxvf ~/soft/jdk-8u121-linux-x64.tar.gz
- 建立jdk1.8.0_121的软连接
命令语句:ln -s jdk1.8.0_121/ jdk
- 修改 ~/.bash_profile文件
命令语句:vi ~/.bash_profile
追加下列语句:#java export JAVA_HOME=/home/dragon/soft/jdk export PATH=$JAVA_HOME/bin:$PATH
- 重新执行刚修改的文件【不能忘记!!】
命令语句:source ~/.bash_profile
- 查看是否成功,输出jdk路径
命令语句:echo $JAVA_HOME
- 安装hadoop
- 下载hadoop稳定的安装包hadoop-2.7.3.tar.gz
- 将hadoop安装包复制到 ~/soft/
命令语句:cp hadoop-2.7.3.tar.gz ~/soft/
- 对安装包解压缩
命令语句:tar -zxvf ~/soft/hadoop-2.7.3.tar.gz
- 建立hadoop-2.7.3的软连接
命令语句:ln -s jdk1.8.0_121/ hadoop
- 修改 ~/.bash_profile文件
命令语句:vi ~/.bash_profile
追加下列语句:#hadoop export HADOOP_HOME=/home/dragon/soft/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
- 重新执行刚修改的文件【不能忘记!!】
命令语句:source ~/.bash_profile
- 查看是否成功,输出hadoop路径
命令语句:echo $HADOOP_HOME
- 修改配置文件core-site.xml和hdfs-site.xml
-
修改$HADOOP_HOME/etc/hadoop文件夹下的core-site.xml
命令语句:cd $HADOOP_HOME/etc/hadoop
vi core-site.xml
在<configuration>标签下添加以下属性:<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>
-
修改$HADOOP_HOME/etc/hadoop文件夹下的hdfs-site.xml
命令语句:cd $HADOOP_HOME/etc/hadoop
vi hdfs-site.xml
在<configuration>标签下添加以下属性:<property> <name>dfs.replication</name> <value>1</value> </property>
-
- 设置无密登陆【此步骤可以省略,但建议不省略】
- 生成密钥
命令语句:ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
说明:【-t 指定生成秘钥算法,采用为rsa; -P指定密码,此处设置为空; -f指定秘钥写入的文件】
- 生成公钥授权库
命令语句:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 修改公钥授权库
命令语句:chmod 0600 ~/.ssh/authorized_keys
- 登陆测试
命令语句:ssh localhost
- 生成密钥
- hadoop配置JAVA_HOME路径
命令语句:cd $HADOOP_HOME/etc/hadoop
vi hadoop-env.sh
修改:
JAVA_HOME=/home/dragon/soft/jdk
- 格式化文件系统【作用:创建fsimage镜像文件】
命令语句:hdfs namenode -format
- 开启hadoop的HDFS
命令语句:start-dfs.sh
开启后显示java进程的pid指令:jps
- 测试
打开浏览器:http://master:50070