部分参考 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04, 部分地方作了修正
从头开始,从虚拟机开始
安装Ubuntu 14.04
- 文件 -> 新建虚拟机 -> 自定义
直接默认下一步即可 - 选择ubuntu镜像
下一步 - 下面随便填,就自动安装了,就不在赘述了。
Ubuntu 基本环境
- 点击网络适配器
- 选择自定义VMnet8 模式
这样就可以共享windows下的宽连接啦~~~
Hadoop 2.6.0 配置
创建hadoop用户
如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。
首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :
sudo useradd -m hadoop -s /bin/bash
设置密码,可简单设置为 hadoop,按提示输入两次密码,为hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题
sudo passwd hadoop
sudo adduser hadoop sudo
安装SSH、配置SSH无密码登陆
sudo apt-get install openssh-server #安装服务
ssh localhost #登录本机,没配置无密码登录每次都要输入密码,麻烦
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了
关闭防火墙
- 关闭ubuntu的防火墙
ufw disable
- 卸载了iptables
apt-get remove iptables
最后准备工作
更新 apt-get install、安装Java 参见博客 Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu伪分布式集群搭建 全过程, 这仅简要介绍Java 安装
安装Java
1.下载JDK
本次选择的是 jdk-8u73-linux-x64
放到Download目录, 当然随意看喜好
2.创建新目录
sudo mkdir /usr/local/java
3.将下载到压缩包拷贝到java文件夹中
进入jdk源码包所在目录Download
解压压缩包,然后可以