Hadoop安装及基础搭建

Hadoop安装及基础搭建

安装前的准备

• 一个纯净版的centos7 虚拟机
• 配置好静态ip
• 主机名，主机映射

配置静态ip的方法

#这里如果使用的是V-BOX安装的那一般为enp0s3，如果是VM-ware那一般为ens33
vi /etc/sysconfig/network-scripts/ifcfg-ens33

具体的配置和修改可以去看使用V-BOX安装CentOS7并使用Mobaxterm远程连接

#配置主机名
#删除原有的localhost 
hadoop1
#配置主机映射
vi /etc/hosts
192.168.191.101 hadoop1

在/opt下创建文件夹，software,用来存放软件安装包

cd  /opt
mkdir software

进行免密登陆，这一步是必须的，完成这一步才能正常使用hadoop

ssh-keygen  -t rsa -P “”
#回车
#拷贝密钥
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

安装jdk

#解压,这里的jdk...是你的压缩包名，下面的jdk...是你解压缩出来的文件夹名
tar zxvf jdk-8u171-linux-x64.tar.gz -C /opt
#改个易读写的名字
mv /opt/jdk1.8.0_171 /opt/jdk1.8

安装Hadoop

• Hadoop 的安装模式分为3种：单机（本地）模式，伪分布式，完全分布式（集群模式）
• 本地模式安装

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/
#hadoop...是解压缩后的名字
mv /opt/hadoop...  /opt/hadoop

#配置环境变量
vi /etc/profile
#在文件最下方写入
#java的环境变量
export JAVA_HOME=/opt/jdk1.8
export JRE_HOME=/opt/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
#hadoop的环境变量
export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.