Hadoop搭建

安装jdk

1、rpm安装JDK
2、添加JDK环境变量

vim + /etc/profile    #“+”移至结尾

#在结尾处添加
##此路径为jdk安装路径，一般为/usr/java/jdk*
export JAVA_HOME=/usr/java/jdk-13 
PATH=$PATH:$JAVA_HOME/bin

#按esc 然后:wq保存

#重新加载profile文件
. /etc/profile

配置ssh免秘钥

#ssh连接本机
$ ssh localhost

#依次执行下面命令
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

安装hadoop

1、解压hadoop.tar.gz

#-C解压到指定目录
tar -vxf hadoop-2.10.0.tar.gz -C /opt
#进入hadoop目录
cd cd /opt/hadoop-2.10.0/

2、添加环境变量

vim + /etc/profile

#在尾部加上
HADOOP_HOME=/opt/hadoop-2.10.0
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#重新加载profile文件
. /etc/profile

#验证环境变量
hadoop version  #显示hadoop版本

配置hadoop

//进入配置文件目录
cd $HADOOP_HOME/etc/hadoop

//修改配置文件
vim etc/hadoop/hadoop-env.sh       

//将      export   JAVA_HOME=${JAVA_HOME}
//修改为  export   JAVA_HOME=/opt/java/jdk1.8.0_121
              说明：修改为自己的JDK路径

编辑core-site.xml文件

vim + core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop</value>
    </property>
</configuration>

启动集群 start-dfs.sh
//显示所有java进程 jps

#显示所有java进程  jps命令
jps
12448 DataNode
12625 SecondaryNameNode
12313 NameNode
12781 Jps

测试hadoop

浏览器访问 http://IP地址:50070 有内容即使正确

---

欢迎大家访问我的网页@Agreeable