CentOS7下单机伪分布式Hadoop搭建

本文章仅作为个人笔记

• Hadoop官网：http://hadoop.apache.org
• 前期准备工作：
  • 生成密钥：
  • 运行 ssh-keygen –t dsa 连续回车
  • 此时会生成id_dsa和id_dsa.pub文件，及私钥和公钥，运行 cat id_dsa.pub >> authorized_keys 将公钥信息传入authorized_keys文件即可完成免密自登陆。运行 ssh localhost 可进行验证。
  • 安装 jdk/vim/tar yum install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 –y yum install vim –y yum install tar.x86_64 -y
• Hadoop安装：
  • Hadoop下载： wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz
  • 解压Hadoop： mkdir /bigdata tar –zxvf hadoop-3.1.0.tar.gz –C /bigdata/
• 修改Hadoop配置文件：
  • 配置hadoop引用的java环境
  • 运行 rpm -qa | grep java 查看所有安装的java应用
• 查看所有安装的java应用
  • 找到带openjdk-devel的那个选项，运行 rpm -ql java-1.8.0-openjdk-devel-1.8.0.131-3.b12.el7_3.x86_64 | grep /bin/java 找到java的安装位置
  • 找到java的安装位置 vim /bigdata/hadoop-3.1.0/etc/hadoop/hadoop-env.sh 添加环境地址 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.el7_3.x86_64
  • 添加javahome
  • 配置hadoop核心配置 vim /bigdata/hadoop-3.1.0/etc/hadoop/core-site.xml fs.defaultFS hdfs://127.0.0.1:9000 hadoop.tmp.dir /bigdata/tmp
  • 配置指定HDFS存储数据的副本数据量 vim /bigdata/hadoop-3.1.0/etc/hadoop/hdfs-site.xml dfs.replication 1
  • 指定mapreduce编程模型运行在yarn上 mv /bigdata/hadoop-3.1.0/etc/hadoop/mapred-site.xml.template /bigdata/hadoop-3.1.0/etc/hadoop/mapred-site.xml vim /bigdata/hadoop-3.1.0/etc/hadoop/mapred-site.xml mapreduce.framework.name yarn
  • 指定yarn的resourcemanager的地址 vim /bigdata/hadoop-3.1.0/etc/hadoop/yarn-site.xml yarn.resourcemanager.hostname 127.0.0.1 yarn.nodemanager.aux-services mapreduce_shuffle
  • 更改hdfs启动和关闭文件脚本（3.0及以上配置，3.0以下请自动忽略） vim /bigdata/hadoop-3.1.0/sbin/start-dfs.sh vim /bigdata/hadoop-3.1.0/sbin/stop-dfs.sh 加入如下内容： HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
  • 更改yarn启动关闭脚本（3.0及以上配置，3.0以下请自动忽略） vim /bigdata/hadoop-3.1.0/sbin/start-yarn.sh vim /bigdata/hadoop-3.1.0/sbin/stop-yarn.sh 加入如下内容： YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
• 初始化并启动
  • 运行 /bigdata/hadoop-3.1.0/bin/hdfs namenode -format 初始化namenode出现如下标识（has been successfully formatted.）则为初始化成功，失败的自行百度 。
  • 运行 /bigdata/hadoop-3.1.0/sbin/start-all.sh 启动所有服务，运行完可再运行jps看是否启动成功，成功会多出NodeManager NameNode SecondaryNameNode DataNode ResourceManager
  • 访问服务器9870端口（例：http://192.168.64.132: 9870）可观察当前Hadoop状态（2.6.5为50070端口） Live Nodes 可以查看存活节点及hdfs的状态。
  • 访问服务器8042端口（例：http://192.168.64.132: 8042）可查看当前yarn管理界面（2.6.5为8088）
  • 至此Hadoop单机伪分布式搭建完毕
• 如果出现namenode无法启动，将/bigdata/tmp/dfs/name/current/VERSION 的clusterID值复制到/bigdata/tmp/dfs/data/current/VERSION 中在重启便好