hadoop环境搭建——从零开始

对hadoop的认识只停留在是mapreduce的一种实现工具,大数据,分布式等抽象层面,完全没有具象了解。搭建环境,完全从零开始,走了挺多弯路。

总结之。


0. 

目前较为普遍的起步方式是在虚拟机上模拟多台搭建hadoop。初始时为调查询问,鲁莽从cygwin下手,结果被缺失的linux知识打败,浪费很多时间。

Cygwin的主要目的是通过重新编译,将POSIX系统(例如Linux、BSD,以及其他Unix系统)上的软件移植到Windows上。cygwin是较为经典的一种linux虚拟机,要求对linux命令结构等较为熟悉,否则很难应用。

从虚拟机单节点开始。


1. 完整步骤

1.1 下载虚拟机软件virtualbox并 安装
1.2 新建linux虚拟机及基本配置

新建——选择系统命名——创建虚拟内存——创建虚拟硬盘——在设置,存储,控制器,没有盘片属性中导入虚拟光盘(事先下载的iso文件)——启动

可能出现问题:

1.2.1 this kernel requires an x86-64 CPU, but only detected an i686 CPU. unable to boot - please ues a kernel appropriate for your CPU.

1.2.2 偶尔会出现FATAL: Could not read from boot medium. System halted.

不用担心,多次重启后即可,可能由于之前异常退出未恢复。


1.3 虚拟机上安装ubuntu系统
1.4 增强功能设置共享文件夹
1.5 jdk安装及环境变量配置 vim install
1.6 下载hadoop-2.2.0,安装,环境变量,修改配置文件
1.7 ssh无密码登陆配置
1.8 初始化,启动hadoop
1.9 实现wordcount(未实现)
2.0 eclipse绑定(未实现)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值