最近学了一下Hadoop,参考了网上的资料,自己动手搭建了一下,最后觉得把搭建过程记录下来和大家分享一下(仅供参考)
首先添加当前用户到 sudoers 文件中
更新apt
更改一些配置文件
输入【Y】然后自动联网更新
安装ssh
配置ssh无密码登录
安装Java运行环境
将 jdk-8u144-linux-x64.gz 复制到/home/pwk/目录
删除所有的open的jdk
解压 jdk-8u144-linux-x64.gz
新建 java-env.sh文件
配置JAVA_HOME 的环境变量
注 vim编辑中 【a】输入 、【i】插入 、【w】保存、【q】退出
Esc键切换编辑状态和命令状态
jdk安装成功
安装Hadoop
将 hadoop-2.8.1.tar.gz 复制到 /home/pwk目录下
解压 hadoop-2.8.1.tar.gz
重命名hadoop-2.8.1为hadoop
修改文件权限
配置hadoop路径
修改 /home/pwk/hadoop/etc/hadoop/中的hadoop-env.sh文件
配置成功
Hadoop 伪分布式配置
配置/home/pwk/hadoop/etc/hadoop/中的core-site.xml文件
配置/home/pwk/hadoop/etc/hadoop/中的 hdfs-site.xml文件
执行NameNode的格式化
开启 NameNode 和 DataNode 守护进程
打开浏览器 输入 【localhost:50070】
成功
(第一次写博客,不足之处请见谅)