centos7搭建hadoop伪分布并实现词频统计

centos7搭建hadoop伪分布并实现词频统计

实验准备

装有centos7的vm虚拟机，并已经修改好固定ip地址

实验步骤

一、安装jdk

1.去oracle官网下载事宜版本的jdk

需要注册登录，不过下载是免费的。

2.将jdk传输到centos系统中
因为我用的是没有桌面系统的，所以使用Xftp将文件传到虚拟机/usr/local/java/目录下
如果有人用的含有桌面系统，可以直接拖进虚拟机中，不过这样经常会发生一些错误，不建议这样做，还是比较建议大家都使用Xftp

3.安装jdk
这里有一点要注意，如果是含有桌面系统的centos，要先卸载本身具有的openjdk
（1）首先进行解压：

tar -zxvf jdk-8u241-linux-x64.tar.gz

正常解压，没有返回任何错误即可进行下一步。如果有错误，检查安装包是否损坏，安装包是否与系统版本匹配。
（2）配置环境变量：

vi /etc/profile

移动光标到最后，敲击键盘的A键执行插入

#java environment
export JAVA_HOME=/usr/local/java/jdk1.8.0_241
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

JAVA_HOME注意是自己安装的位置
按一下esc键，输入：wq保存并退出
让刚刚的配置生效：

source /etc/profile

（3）测试：

java -version

第一步完成！

二、安装hadoop

1.配置ssh 免密登录
（1）安装openssh-clients，使用命令生成钥匙对

ssh-keygen -t rsa

一般我们在创建过成功输入的地方直接回车
（2）把公钥复制到authotized_keys(这个文件会自动创建)

cd .ssh
cat id_rsa.pub >> authotized_keys

.ssh是个隐藏文件，可以使用ls -a查看
（3）使用ssh进行测试

ssh localhost

第一次使用会要求确认yes和输入密码，使用exit退出ssh
2.安装hadoop
（1）在/opt目录下创建soft文件夹用于安装软件

<