centos7搭建hadoop伪分布并实现词频统计
实验准备
装有centos7的vm虚拟机,并已经修改好固定ip地址
实验步骤
一、安装jdk
1.去oracle官网下载事宜版本的jdk
需要注册登录,不过下载是免费的。
2.将jdk传输到centos系统中
因为我用的是没有桌面系统的,所以使用Xftp将文件传到虚拟机/usr/local/java/目录下
如果有人用的含有桌面系统,可以直接拖进虚拟机中,不过这样经常会发生一些错误,不建议这样做,还是比较建议大家都使用Xftp
3.安装jdk
这里有一点要注意,如果是含有桌面系统的centos,要先卸载本身具有的openjdk
(1)首先进行解压:
tar -zxvf jdk-8u241-linux-x64.tar.gz
正常解压,没有返回任何错误即可进行下一步。如果有错误,检查安装包是否损坏,安装包是否与系统版本匹配。
(2)配置环境变量:
vi /etc/profile
移动光标到最后,敲击键盘的A键执行插入
#java environment
export JAVA_HOME=/usr/local/java/jdk1.8.0_241
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
JAVA_HOME注意是自己安装的位置
按一下esc键,输入:wq保存并退出
让刚刚的配置生效:
source /etc/profile
(3)测试:
java -version
第一步完成!
二、安装hadoop
1.配置ssh 免密登录
(1)安装openssh-clients,使用命令生成钥匙对
ssh-keygen -t rsa
一般我们在创建过成功输入的地方直接回车
(2)把公钥复制到authotized_keys(这个文件会自动创建)
cd .ssh
cat id_rsa.pub >> authotized_keys
.ssh是个隐藏文件,可以使用ls -a
查看
(3)使用ssh进行测试
ssh localhost
第一次使用会要求确认yes和输入密码,使用exit退出ssh
2.安装hadoop
(1)在/opt目录下创建soft文件夹用于安装软件
<