hadoop的开发环境部署(1)
安装前的准备工作
1. *创建普通用户:hadoop*
在终端输入su 切换到管理员,提示输入密码
开始创建hadoop用户,useradd –m hadoop –s /bin/bash
,这条命令创建了可以登录的hadoop用户,并使用/bin/bash作为shell。
接着设置密码为hadoop:Passwd hadoop
2. *为hadoop添加管理员权限:*
输入:adduser hadoop sudo
,如果提示失败,先修改配置文件,
1)添加文件的写权限。也就是输入命令chmod u+w /etc/sudoers
2)编辑/etc/sudoers文件。也就是输入命令vim /etc/sudoers
,输入i
进入编辑模式,找到这一行:root ALL=(ALL) ALL
在起下面添加hadoop ALL=(ALL) ALL
- 然后保存(就是先摁一下Esc键,然后输入:
wq
)
4)撤销文件的写权限。也就是输入命令chmod u-w /etc/sudoers
5)输入reboot命令,重启Linux系统,文件修改生效。
3. *SSH无密码localhost自动登录配置:*
键入以下命令,在服务器上安装公钥:
[hadoop@localhost ~]$ssh localhost
[hadoop@localhost ~]$ cd .ssh
Ssh-keygen -t rsa
[hadoop@localhost .ssh]$ cat id_rsa.pub >> authorized_keys
(此处一个yes四个回车)
如此便完成了公钥的安装。为了确保连接成功,请保证以下文件权限正确:
[hadoop@localhost .ssh]$ chmod 600 authorized_keys
[hadoop@localhost .ssh]$ chmod 700 ~/.ssh
4. *安装jdk********1.8,卸载Linux系统自带的openjdk*
1、检查一下系统中的jdk版本
[root@localhost software]# java -version
显示:
openjdk version "1.8.0_102"
OpenJDK Runtime Environment (build 1.8.0_102-b14)
OpenJDK 64-Bit Server VM (build 25.102-b14, mixed mode)
2、检测jdk安装包
[root@localhost software]# rpm -qa | grep java
显示
java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
tzdata-java-2016g-2.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
3、卸载openjdk
[root@localhost software]# rpm -e --nodeps tzdata-java-2016g-2.el7.noarch
[root@localhost software]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
[root@localhost software]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
[root@localhost software]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
[root@localhost software]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
或者使用
[root@localhost jvm]# yum remove *openjdk*
之后再次输入rpm -qa | grep java 查看卸载情况:
[root@localhost software]# rpm -qa | grep java
python-javapackages-3.4.1-11.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
4、安装新的jdk
在jdk官网下载压缩包,存放在虚拟机共享文件夹里(共享文件夹的使用详情请链接至另一文章)。
或者:
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz
并解压jdk-8u201-linux-x64.tar.gz安装包到/usr/local/文件夹中,并改名为jdk1.8
[root@localhost share]#tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local
后改名
[root@localhost local]#mv ./jdk1.8.0_201 ./jdk1.8
5、设置环境变量
在/etc/profile中添加如下内容
[root@localhost jdk1.8]#vim /etc/profile
添加内容
echo "export JAVA_HOME=/usr/local/jdk1.8" >> /etc/profile;
echo "export JRE_HOME=${JAVA_HOME}/jre" >> /etc/profile;
echo "export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib" >> /etc/profile;
echo "export PATH=${JAVA_HOME}/bin:$PATH" >> /etc/profile;
6、执行profile文件
[root@localhost jdk1.8]# source /etc/profile
7、检查新安装的jdk
[root@localhost software]# java -version
显示
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)
至此,整个hadoop安装准备工作结束。