Hadoop,JDK ,SSH 无密钥的Linux下详细的步骤方法

最新推荐文章于 2023-07-29 11:26:01 发布
最新推荐文章于 2023-07-29 11:26:01 发布
阅读量753 收藏
点赞数
分类专栏： linux系统 Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaozelulu/article/details/80341566
版权

搭建Hadoop，需要在安装jdk,hadoop,以及配置它们的环境变量，还有SSH
（虚拟机自带，不用自己安装）
三台主机的普通用户都是同一个：Mcwang

2018/5/16
创建三台虚拟机：master、slave1、slave2
三台主机ip地址分别为：
        master：192.168.201.135
        slave1: 192.168.  201.133
             slave2: 192.168.  201.134
在Mcwang账户下创建一个soft文件夹，专门用来存放软件

1.CentOS自带jdk删除：2种选择

1.    rpm -qa |  grep jdk
        rpm e jdk1.8.0*
2.yum -y remove java*

2.jdk1.8安装

利用SSH上传jdk的tar.gz压缩包到master主机的Linux系统上(上传文件建议在普通用户下上传)
解压：
tar -zxvf  jdk...tar.gz
将解压后的文件重命名为jdk，mv  old  newname  , 创建软连接到jdk文件夹：
ln -s  jdk   jdk.soft
配置环境变量：
root用户下：

vi /etc/profile
	    export JAVA_HOME=/home/Mcwang/soft/jdk.soft
		export JRE_HOME=$JAVA_HOME/jre
		export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
		export PATH=$PATH:JAVA_HOME/bin:JRE_HOME/bin

		 export JAVA_HOME=/home/Mcwang/soft/jdk.soft
		export JRE_HOME=$JAVA_HOME/jre
		export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
		export PATH=$PATH:JAVA_HOME/bin:JRE_HOME/bin

    export是使它生效
     输入java -version查看安装的jdk版本；
        也可以直接输入java 或javac ,出现一长串文件说明配置没错。

3.hadoop搭建

关闭防火墙和SElinux:
 1..查看防火墙的状态：
     chkconfig iptables --list
     chkconfig ip6tables --list
2. 关闭防火墙(临时)
     chkconfig iptables stop 
     chkconfig ip6tables stop
3.永久关闭
   chkconfig iptables off
   chkconfig ip6tables off
       4.vi /etc/sysconfig/selinux
            SELINUX=disabled
           

 

    如何使普通用户拥有sudo权限，博客在此：https://blog.csdn.net/xiaozelulu/article/details/80343532

 

    需要重启reboot.

 ssh上传hadoop2.7.3的压缩包

解压：
tar -zxvf hadoop2.7.3.tar.gz
重命名：为hadoop下创建文件夹：
mkdir dfs  dfs/name  dfs/data   tmp 

配置hadoop环境： sudo可以使普通用户获得root权限去修改配置文件

一般配置文件我们需要在root下执行，但有了sudo权限我们不用切换到root

sudo vi /etc/profile

		   export  HADOOP_HOME=/home/Mcwang/soft/hadoop.soft
		export HADOOP_INSTALL=$HADOOP_HOME
		export HADOOP_MAPRED_HOME=$HADOOP_HOME
		export HADOOP_COMMON_HOME=$HADOOP_HOME
		export HADOOP_HDFS_HOME=$HADOOP_HOME
		export YARN_HOME=$HADOOP_HOME
		export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
		export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

		   export  HADOOP_HOME=/home/Mcwang/soft/hadoop.soft
		export HADOOP_INSTALL=$HADOOP_HOME
		export HADOOP_MAPRED_HOME=$HADOOP_HOME
		export HADOOP_COMMON_HOME=$HADOOP_HOME
		export HADOOP_HDFS_HOME=$HADOOP_HOME
		export YARN_HOME=$HADOOP_HOME
		export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
		export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

     配置环境之后，需要：source /etc/profile,  目的是使它生效
 

 修改/home/hadoop/soft/hadoop/etc/hadoop下的7个文件：

1）sudo vi hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/home/Mcwang/soft/hadoop.soft
2) suod vi core-site.xml

 </configuration>  
         <property>
			    <name>hadoop.tmp.dir</name>
			    <value>file:/home/Mcwang/soft/Mcwang/tmp</value>
			    <description>Abase for other temporary directories.</description>
	     </property>
         <property>
		    	<name>fs.defaultFS</name>
			    <value>hdfs://master:9000</value>
          </property>


  </configuration>  

                   master是你的主机名，value:是你tmp的路径
3) sudo vi hdfs-site-xml

<!-- Put site-specific property overrides in this file. -->
		<configuration>

			<property>
				<name>dfs.namenode.secondary.http-address</name>
				<value>master:50090</value>
			</property>
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>
			<property>
				<name>dfs.namenode.name.dir</name>
				<value>file:/home/Mcwang/soft/hadoop/dfs/name</value>
			</property>
			<property>
				<name>dfs.datanode.data.dir</name>
				<value>file:/home/Mcwang/soft/hadoop/dfs/data</value>
			</property>

		</configuration><property>
				<name>dfs.namenode.secondary.http-address</name>
				<value>master:50090</value>
			</property>
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>
			<property>
				<name>dfs.namenode.name.dir</name>
				<value>file:/home/Mcwang/soft/hadoop/dfs/name</value>
			</property>
			<property>
				<name>dfs.datanode.data.dir</name>
				<value>file:/home/Mcwang/soft/hadoop/dfs/data</value>
			</property>

		</configuration>

                           *master主机名，还有name和data的路径
4) sudo vi yarn-site.xml

<configuration>
			<!-- Site specific YARN configuration properties -->
			<property>
				<name>yarn.resourcemanager.hostname</name>
				<value>master</value>
	          </property>
		  <property>
				<name>yarn.nodemanager.aux-services</name>
				<value>mapreduce_shuffle</value>
		  </property>


 </configuration><property>
				<name>yarn.resourcemanager.hostname</name>
				<value>master</value>
	          </property>
		  <property>
				<name>yarn.nodemanager.aux-services</name>
				<value>mapreduce_shuffle</value>
		  </property>


 </configuration>

          **master主机名      
 
5)先将mapred-site.xml.template复制到mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
sudo vi mapred-site.xml

 

 

<!-- Put site-specific property overrides in this file. -->
	 <configuration>
			 <property>
			 <name>mapreduce.framework.name</name>
			 <value>yarn</value>
		   </property>
		   <property>
			 <name>mapreduce.jobhistory.address</name>
			 <value>master:10020</value>
		   </property>
		   <property>
			  <name>mapreduce.jobhistory.webapp.address</name>
			  <value>master:19888</value>
		   </property>
	 </configuration> <property>
			 <name>mapreduce.framework.name</name>
			 <value>yarn</value>
		   </property>
		   <property>
			 <name>mapreduce.jobhistory.address</name>
			 <value>master:10020</value>
		   </property>
		   <property>
			  <name>mapreduce.jobhistory.webapp.address</name>
			  <value>master:19888</value>
		   </property>
	 </configuration>

**master（2）个主机名
6) sudo vi slaves
   添加两个主机名：（每个机器上都写对应的另两个主机名）
slave1
slave2
7) sudo vi yarn-env.sh
    添加JAVA_HOME
 export JAVA_HOME=/home/Mcwang/soft/hadoop.soft
        

 

 

注意：

            jdk的安装和hadoop的安装，以及它们俩的环境变量在三台主机都得配置，但是唯独修改的第六个文件
里面主机名不同，里面是写除本身以外的两个主机名。

将master主机上的/home/Mcwnag/soft/文件夹通过超级命令复制到slave1和slave2主机上，(scp  -r ...)
只需要将soft文件夹中的软连接删除，重新创建软连接：
rm -rf  jdk.soft  hadoop.soft     删除软连接
ln -s   jdk       jdk.soft  创建jdk软连接
ln -s   hadoop   hadoop.soft  创建hadoop软连接
这样三台主机上的hadoop（hdfs）命令可以运行，但是hadoop搭建并未perfect

 

 还有一些配置需要在另外两个机器上：

        ①vi /etc/profile :jdk和hadoop的环境配置；source /etc/profile
        ②vi /etc/hosts :ip hostname形式写入三台机器上，主要是想要主机名代替IP；
        

 

SSH免密登录(三台主机)：

1. master 想登陆locahost:
    在master主机上运行命令：
    ssh-keygen -t rsa
            在home/Mcwang下生成新文件夹.ssh(公钥id_rsa.pub、私钥id_rsa和known_hosts文件)
       
将公钥复制成新文件：authorized_keys
    cp id_rsa.pub authorized_keys
修改authorized_keys权限为600,.ssh权限为700
sudo chmod 600 authorized_keys
                sudo  chmod 700 .ssh
此时ssh登录localhost，可以免密登录
2.如果master想免密登录slave1，
        需要在slave1中/home/Mcwang下创建文件夹.ssh,并修改权限700
mkdir .ssh
sudo chmod 700  
将authorized_keys通过超级命令复制到slave1主机中
scp authorized_keys Mcwang@192.168.29.133:/home/hadoop/.ssh
3.master 免密登录slave2:
            需要在slave2中/home/hadoop下创建文件夹.ssh,并修改权限700
mkdir .ssh
sudo chmod 700 /home/Mcwang/.ssh
将authorized_keys通过超级命令复制到slave2主机中
scp authorized_keys Mcwang@192.168.201.134:/home/Mcwang/.ssh
此时master主机可以通过ssh免密登录slave1和slave2主机

 

4注意：想要三台机器互相录免密登录：

master:
ssh-keygen -t rsa  //生成自己的私钥和公钥,/home/Mcwang就会自动生成.ssh文件
chmod 700 .ssh  //.ssh权限700
cp id_rsa.pub authorized_keys   //master已经有了自己的公钥
chmod 600 authorized_keys
scp authorized_keys Mcwang@192.168.29.137:/home/Mcwang/.ssh/authorized  //将公钥复制到slave1中
slave1:生成自己的公钥
ssh-keygen -t rsa  //生成自己的私钥和公钥,/home/Mcwang就会自动生成.ssh文件
chmod 700 .ssh  //.ssh权限700
cat id_rsa.pub authorized_keys   //slave1公钥追加到authorized_keys (2)
chmod 600 authorized_keys
scp authorized_keys Mcwang@192.168.29.138:/home/Mcwang/.ssh/authorized  //将2个公钥复制到slave2中
slave2:
mkdir .ssh
chmod 700 .ssh
ssh-keygen -t rsa //生成自己的公钥和私钥
cat id_rsa.pub authorized_keys  //此时已有三个公钥，
scp authorized_keys Mcwang@192.168.29.136:/home/Mcwang/.ssh/authorized  //将三个公钥复制到master中
scp authorized_keys Mcwang@192.168.29.137:/home/Mcwang/.ssh/authorized  //将三个公钥复制到slave1中
  


注意：在一机器上是不能追加文件到另外的机器上的。
此时可实现三台主机互相免密登录

 

 

如何修改主机hostname

1、临时修改：hostname new hostname
2、永久修改：
sudo vi /etc/hostname
添加主机名(例如在master主机下)：master(其他两个主机也需要添加主机名)
     HOSTNAME=master
 重启虚拟机以上配置会生效

 

 

 

 启动Hadoop

    在master主机上将节点文件系统格式化(只需要格式化一次，一次以上会出现问题：需要把创建的dfs,
dfs/name,dfs/data,tmp这四个文件删掉就好，再重新创建，然后该虚拟机又可以继续用。
格式化命令：hdfs namenode -format

 

 

在/home/hadoop/soft/hadoop/sbin下有start-all.sh 和 stop-all.sh，
是开启服务和关闭服务
在命令行执行：./start-all.sh 开启服务
在命令行执行：jps 查看服务

在master主机上会开启以下四项服务：
1 NameNode
2 SecondaryNameNode
3 ResourceManager
4 Jps
在slave1和slave2主机上会开启以下三项服务：
1 DataNode
2 Jps
3 NodeManager

 

 

如果要在Windows下的浏览器上访问hadoop，需要进行以下更改：


修改文件：C:/Windows/System32/drivers/etc/hosts
在文件中添加键值对：和vi /etc/hosts一样
192.168.201.133 slave1
192.168.201.134 slave2
192.138.201.135 master

 

 

 

在浏览器上访问：http://master:50070 可进入hadood的页面

master：8088

 

 

 

 

小A__
关注
专栏目录
Hadoop之JDK
weixin_43361166的博客
07-09 259
【实验目的】 1.掌握在完全分布模式的整合平台中快捷的进行JDK的安装； 【实验要求】 1.在集群中所有的主机上完成JDK的安装； 2.所有主机上JDK命令能够正常使用； 【实训环境】 虚拟机硬件配置： 五台独立PC机或虚拟机 主机之间有效的网络连接 每台主机内存2G以上，磁盘50G 所有主机上安装CentOS7.4_64操作系统 所有主机已完成网络属性配置 【软件版本】 选用JDK 8的131版本，软件包名jdk-8u131-linux-x64.tar.gz 【集群规划】 将5台主机中的主机1和主机2作为
Hadoop之jdk的安装
weixin_45256098的博客
06-04 1369
【实验目的】 1.安装配置JDK 1.五台独立PC机或虚拟机主机之间有有效的网络连接 2.每台主机内存2G以上，磁盘剩余空间500M以上所有主机上已安装CentOS 7.4操作系统 3.所有主机已完成网络属性配置 1.卸载原有JDK 该项的所有操作步骤需要使用root用户进行。并且在集群中每台主机操作一次，发现没有，不必卸载 因为我的查看没有jdk，所以不需要卸载原有的，只需直接安装即可。 2. 安装 此项的所有操作步骤使用专门用于集群的用户admin进行，此项只在一台主机操作 首先，我们先新建一个存放H
hadoop安装（一、JDK）
cp1002327672的博客
02-01 233
hadoop安装（一、JDK）
linux中安装hadoop、JDK
qq_43073985的博客
10-23 189
大数据的四个V特征 1.volume //体量大 2.variety //样式多. 3.velocity //速度快 4.valueless //价值密度低 hadoop四个模块 1.common 2.hdfs 3.hadoop yarn 4.hadooop mapreduce(mr) 1.安装jdk (1)下载jdk-8u65-linux-x64.tar.gz (2)tar开 $>su r...
Hadoop环境搭建之JDK的安装
Hello_Word___的博客
10-16 2611
环境： jdk 1.8.0 centos 6.5 一.使用mkdir创建一个名为opt 的目录(目录名随意)，将jdk-8u60-linux-x64.tar.gz通过SecureCRT传到目标主机中，使用tar -zxvf解压到当前目录。 二，进入jdk1.8.0_60目录，使用pwd命令获取当前目录路径，记录下来。（/opt/jdk1.8.0_60） 三.使用v
（实验二）Hadoop之JDK安装
qq_41112933的博客
06-17 867
Hadoop之JDK安装 实验目的和要求实验环境软件版本集群规划实验步骤1、 卸载原有JDK2、安装配置JDK2.1安装2.1.1首先，我们先新建一个存放Hadoop软件包的文件夹setups2.1.2然后把所有相关包上传到setups目录内2.1.3查看jdk是否上传成功2.1.4 在家目录下创建用于存放JDK相关文件的目录“java”，并将软件包解压到“java”目录下2.2配置环境变量2.2.1对配置文件.bash_profile进行修改，在文件末尾添加以下内容2.2.2使新配置的环境变量立即生效,并
Hadoop集群：JDK与SSH无密码配置详解
首先，文档详细讲述了在Linux环境下安装和配置JDK的过程，包括下载、解压、执行安装脚本以及配置三个关键的环境变量： 1. **PATH环境变量**：PATH环境变量定义了系统在寻找可执行程序时搜索的目录列表。为了方便...
Linux下Hadoop配置教程：无密钥SSH与集群搭建
本文档主要介绍了在Linux环境下配置Hadoop的步骤，包括安装基础软件、搭建Hadoop集群以及网络配置。首先，通过wget命令从Apache镜像站下载Hadoop-2.7.2的tar.gz文件，并解压到/usr/local/hadoop目录，确保所有文件...
解压jdk，配置ssh，安装hadoop
m0_53876797的博客
05-03 3444
伪分布式安装 步骤： 下载VirtualBox软件 创建虚拟机 安装linux系统（Ubuntu版本） 安装jdk，hadoop使用java的编写程序，使用jdk编译 安装ssh（安全外壳协议），为了让从节点的各台主机密码联通 安装hadoop
Linux Ubuntu 18.04安装JDK、Hadoop、Hbase以及图形界面1
08-03
在本文中，我们将详细探讨如何在Linux Ubuntu 18.04系统上安装JDK、Hadoop、Hbase以及配置图形界面。首先，确保你具备了必要的准备工作，包括Ubuntu 18.04系统、JDK 8、Hadoop 2.7.1和HBase 1.6.0的安装文件，以及...
Ubuntu13.10环境下配置Hadoop、JDK与Eclipse详细步骤
"在Ubuntu 13.10环境下配置Hadoop涉及的主要步骤包括安装Java开发工具包（JDK）、Eclipse集成开发环境（IDE）以及Hadoop分布式文件系统（HDFS）。" 在Ubuntu 13.10操作系统中配置Hadoop首先需要安装Java运行环境，...
hadoop集群搭建——JDK的安装
01-21
在VMware上部署hadoop集群，首先需要安装jdk。 掌握在完全分布的整合平台中快捷的进行JDK的安装 (1)完全分布模式中JDK的安装和验证； (2)在集群中所有主机上完成JDK的安装； 所有主机上JDK相关命令能够正常使用
linux下载，安装，JDK配置，hadoop安装
07-06
该文档是本人亲自试验过的，包含虚拟机centOS6.5系统的下载，安装，jdk配置，hadoop安装诸多内容。版权所有，未经许可，不得转载。
hadoop中的jdk安装流程
qq_53810226的博客
10-04 1219
hadoop中的jdk安装 第一步：先将安装包转入Linux中 使用 rz-E 命令 第二步创建路径 mkdir -p /export/softwares 压缩包的存放位置 mkdir -p /export/servers 解压之后存放的位置 第三步 解压压缩包到指定目录 tar -zxvf jdk-8u162-linux-x64.tar.gz -C /export/servers/ -C 的意思就是添加到指定的目录 不加的话就会报错 第四步 配置环境变量 vim /etc/profile
linux安装hadoop时ssh配置,Linux_Hadoop入门--安装JDK.ssh免密登录Hadoop配置
weixin_42516051的博客
05-12 137
Linux_Hadoop入门--安装JDK.ssh免密登录Hadoop配置Linux_Hadoop入门--安装JDK，.ssh免密登录，Hadoop配置1:使用hostnamectlset-hostname主机名永久修改hostnamectlset-hostnamemaster2:重启虚拟机reboot -h now3:使用hostname命令查看是否成功更改！*设置ssh免密码登陆1:切...
超详细Hadoop环境搭建(四)——Linux的jdk安装
han的博客
06-08 1918
前面的文章里，我们已经将外部的环境全部搭建起来了，接下来我们进行Linux的jdk安装 在安装之前，需要使用两样工具： 1.XShell软件 2.Xftp软件 [注]：XShell软件是为了更快捷地操作虚拟机里的Linux系统，而Xftp软件是为了方便让自己电脑的文件传输到Linux系统中，关于这两样工具的安装就不在此作过多赘述 一、JDK的安装 1.打开并登录一台Linux node01 2.打开Xshell软件，连接node01 2.在XShell中打开Xftp 3.打开这个界面后，我们将下载到
linux安装JDK和Hadoop
最新发布
Rain_2021245488的博客
07-29 398
前面我们实现了虚拟机的安装，也为每个节点配置的网络，使其能上网。但这样还远不能让集群进行工作，因为我们并没有为每个节点安装hadoop软件，又怎么使用它所提供的服务呢？下载完软件后，如何让虚拟机找到hadoop路径等？本篇将讲述如何安装jdk和hadoop。
Hadoop-JDK安装
Ficus的博客
09-13 144
JDK安装 传输文件 secureCRT中：Alt + p ==>> 进入传输模式 安装JDK shift+g
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值