前言:hadoop生态圈集群一般是主从机器搭建,现用一台机器搭建伪分布式
1、使用命令 hostname 查看主机名
1.1、配置机器名,使主机名和ip地址映射
使用命令 vi /etc/hosts 在末尾加上192.168.xxx.xxx 主机名
2、配置免密码登录
2.1、在机器上生成秘钥对
使用命令ssh-keygen -t rsa -p ' '
2.2、把公钥id_rsa.pub追加到授权的key里面去
使用命令cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.3、修改文件authorized_keys权限
chmod 600 ~/.ssh/authorized_keys
2.4、将授权文件分配到其他主机上(伪分布式此步骤不要)
ssh-copy-id -i ~/.ssh/id_rsa.pub 用户名@主机名
2.5、用root账户 在主机上修改配置文件
vi /etc/ssh/sshd_config
将下面的注释去掉:
RSAAuthentication yes #启用RSA认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径
配置完成时候 ssh 主机名不要密码就登录上去表示成功
3、准备好hadoop 在这里我准备的是hadoop-2.7.4.tar.gz上传
4、解压hadoop-2.7.4.tar.gz
使用tar -zxvf hadoop-2.7.4.tar.gz解压
5、修改配置文件
切换到hadoop解压目录下 mkdir data新建data文件夹
6、
[root@oracle hadoop-2.7]# cd etc/hadoop/
[root@oracle hadoop]# ls
capacity-scheduler.xml hadoop-env.cmd hadoop-policy.xml httpfs-signature.secret kms-log4j.properties mapred-env.sh ssl-client.xml.example yarn-site.xml
configuration.xsl hadoop-env.sh hdfs-site.xml httpfs-site.xml kms-site.xml mapred-queues.xml.template ssl-server.xml.example
container-executor.cfg hadoop-metrics2.properties httpfs-env.sh kms-acls.xml log4j.properties mapred-site.xml.template yarn-env.cmd
core-site.xml hadoop-metrics.properties httpfs-log4j.properties kms-env.sh mapred-env.cmd slaves yarn-env.sh
7、配置JAVA_HOME
vi hadoop-env.sh修改JAVA_HOME路径为系统环境变量里面配置的JAVA_HOME路径一样
8、配置core-site.xml
[root@oracle hadoop]# vi core-site.xml
在configuration标签下加入(一下文件配置都是在次标签下加入的)
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.XXX.XXX:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/softwares/hadoop-2.7/data/tmp</value> </property>
9、开始配置hdfs-site.xml(设置备份数,hadoop默认是三份,由于我们是伪分布式,所以一份就够了)
<name>dfs.replication</name>
<value>1</value>
10、然后开始格式化文件系统
[root@oracle hadoop-2.7]# bin/hdfs namenode –format
出现:
17/08/16 15:26:43 INFO namenode.FSImage: Allocated new BlockPoolId: BP-34958735-192.168.159.129-1502868403121
17/08/16 15:26:43 INFO common.Storage: Storage directory /home/software/hadoop-2.7/data/tmp/dfs/name has been successfully formatted.
17/08/16 15:26:43 INFO namenode.FSImageFormatProtobuf: Saving image file /home/software/hadoop-2.7/data/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/08/16 15:26:43 INFO namenode.FSImageFormatProtobuf: Image file /home/software/hadoop-2.7/data/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds.
17/08/16 15:26:43 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/08/16 15:26:43 INFO util.ExitUtil: Exiting with status 0
17/08/16 15:26:43 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at oracle/192.168.159.129
************************************************************/
表示格式化成功
11、启动HDFS
[root@oracle sbin]# ./start-dfs.sh
12、验证在本机上访问ip:50070出现界面则表示启动成功
注:如果访问不上也可能是防火墙打开的原因
关闭防火墙:service iptables stop