Centos 7上安装hadoop-2.6.0-cdh单机版

最新推荐文章于 2024-04-13 16:02:30 发布

叁伍柒s

最新推荐文章于 2024-04-13 16:02:30 发布

阅读量306

点赞数

分类专栏：笔记文章标签： hadoop centos vim jdk1.8

本文链接：https://blog.csdn.net/m0_58134983/article/details/120268957

版权

笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

准备好jdk和hadoop安装包用Xshell工具将压缩包放到linux上的文件夹内
这里我放在/opt/下
在这里插入图片描述
jdk安装

1.在/opt目录下创建/soft/jdk180文件夹,然后将jdk压缩包解压到该文件夹

mkdir /opt/soft/jdk180
tar -zxvf /opt/jdk-8u251-linux-x64.tar.gz -C /opt/soft/jdk180/ --strip-components 1

2.下载一个vim编辑器,会用不同颜色显示要编辑的内容,方便我们编辑

yum install -y vim

安装好vim编辑器之后,编辑jdk配置文件配置环境变量

vim /etc/profile

进入之后按shift+G到文件末尾添加下面的代码:

#java environment
export JAVA_HOME=/opt/soft/jdk180  #此处为自己的jdk目录
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

:wq保存退出
然后用source /etc/profile 命令重新加载配置文件
最后用java -version 命令查看jdk是否安装成功,出现下图结果即为安装成功
在这里插入图片描述

hadoop的安装

1.在/opt目录下创建/soft/hadoop文件夹,然后将压缩包解压到该文件夹
用以下命令解压

mkdir /opt/soft/hadoop
tar -zxf /opt/hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft/hadoop/ --strip-components 1

2.切换到/opt/soft/hadoop/etc/hadoop目录下

cd /opt/soft/hadoop/etc/hadoop

在这里插入图片描述
3. 使用命令 vim hadoop-env.sh 更改JAVA_HOME的路径为jdk路径

4.1 使用vim core-site.xml命令编辑 core-site.xml文件
在<configuration> </configuration>中插入下列代码,ip地址改为自己的,临时文件地址设置在hadoop目录下

		<property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.100.199:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop/tmp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>

在这里插入图片描述

4.2 编辑 hdfs-site.xml文件 vim hdfs-site.xml
在<configuration> </configuration>中插入下列代码:

		<property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

在这里插入图片描述

4.3 拷贝 mapred-site.xml.template 文件 :

 cp mapred-site.xml.template mapred-site.xml

然后编辑mapred-site.xml

vim mapred-site.xml

在<configuration> </configuration>中插入下列代码:

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

在这里插入图片描述

4.4 编辑 yarn-site.xml文件
在<configuration> </configuration>中插入下列代码:

		<property>
                <name>yarn.resourcemanager.localhost</name>
                <value>localhost</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

在这里插入图片描述

5.配置环境变量 /etc/profile vim /etc/profile 在文件最后加入以下代码:

#hadoop environment
export HADOOP_HOME=/opt/soft/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

添加完之后, source /etc/profile

6.格式化hadoop,用以下命令:hadoop namenode -format

7.启动命令:start-all.sh
停止命令:stop-all.sh
查看状态: jps
登录网页查看:“http://192.168.100.199:50070/”

8.配置免密登录

8.1首先生成密钥

ssh-keygen -t rsa

一直回车，会生成一个/root/.ssh的目录，可以用ll -a命令查看
在这里插入图片描述
8.2用命令cd .ssh/进入.ssh目录下，执行下列命令:

ssh-copy-id -i id_rsa.pub root@localhost

这个命令的目的是将公钥发送到目标主机，将公钥存放到目标主机的/.ssh/authorized_keys这个文件里面，所以localhost代表的是本机，在全分布式环境下可以是另外的主机，localhost就应该是另外主机的ip了，所以在全分布式环境下需要两两进行这个操作，先生成公钥，然后分发给另外的主机。

8.3再次启动Hadoop环境，就不需要输入密码了。