配置Hadoop开发环境:VirtualBox+CentOS+Yum(1)

原创 2015年07月09日 21:01:05

第一节:配置hadoop基本开发环境 VirtualBox+CentOS+Yum

Windows设置:
1.到oracle官网下载并安装oracle virtualbox虚拟机(下载最新版本)
下载地址:https://www.virtualbox.org/wiki/Downloads

2.下载安装CentOS-6.6-i386-minimal.iso
下载地址:http://mirrors.163.com/centos/6.6/isos/i386/

3.下载安装jdk-7u80-windows-x64.exe
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

4.在物理机C:\Windows\System32\drives\etc\hosts文件中添加虚拟机ip地址和虚拟机主机名的映射,格式如下所示:
192.168.152.133 hadoop1

5.下载SecureCRT工具,用于连接和操作虚拟机。

6.下载winSCP工具,用于往虚拟机上传和下载文件。

7.虚拟机网络选择->桥接方式

虚拟机设置:
1.设置->”常规”中修改主机名为hadoop1,类型选Linux,版本选择Red Hat (32bit)。
设置->”网络“选择 桥接网卡

2.设置虚拟机ip。
因虚拟机网络为桥接网卡模式,虚拟机的ip应与物理机在同一网段。先在物理机的commondline中使用ipconfig查看本机的ip地址和网关。然后,为虚拟机配置临时IP地址:ifconfig eth0 ip地址(与物理机ip地址在同一网段)。最后,在物理机中ping虚拟机主机名,在虚拟机中ping物理机网关,两者都能ping通,说明ip地址分配正确。为虚拟机设置ip地址方法如下所示:
修改 /etc/sysconfig/network-script/ifcfg-eth0 文件
DEVICE = eth0
TYPE = Ethernet
ONBOOT = yes
NM_CONTROLLED = yes
BOOTPROTO = static
IPADDR = 192.168.152.133
NETMASK = 255.255.255.0
GATEWAY = 192.168.152.33

service network restart

*注:若配置完ip地址后有问题,可按如下步骤排错:
ping 127.0.0.1 ———— ping通说明tcp协议栈没有问题
ping 物理机ip ———— ping通说明网卡没有问题
ping 默认网关 ———— ping通说明路由没有问题
ping DNS服务器 ———— ping通说明域名解析没有问题

3.配置dns(用于连接外网时解析域名)

vi /etc/resolv.conf
添加nameserver 202.96.134.133(深圳)

4.关闭iptables(关闭防火墙)

service iptables stop(虚拟机重启后会失效)
chkconfig iptables off(设置虚拟机启动时关闭iptables)

5.关闭selinux

vi /etc/selinux/config
设SELINUX=disabled

6.一般情况下,到这一步后虚拟机就可以连接外网了(可以通过测试ping www.baidu.com来检查),但因我所处的环境需要登录上网客户端,所以,我需要再下载一个Linux版本的上网客户端,安装后,登录账号和密码,才能连接外网。

7.配置163 Yum源(Yum是Linux的软件管理工具,此步操作需要保证虚拟机可以连接外网)
http://mirrors.163.com/.help/centos.html下载对应版本的repo文件,放入/etc/yum.repos.d/(操作前做好备份)
运行一下命令生成缓存:

yum clean all
yum makecache

8.安装jdk-7u80-linux-i586.rpm
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
安装jdk:>rpm -ivh jdk-7u80-linux-i586.rpm
jdk默认安装在/usr/java文件夹下,去.bashrc文件中设置JAVA_HOME和PATH环境变量

vi /root/.bashrc
export JAVA_HOME = /usr/java/latest
export PATH = PATH:JAVA_HOME/bin
source .bashrc

9.删除70-persistent-net.rules文件(保证再复制一个虚拟机时,网络不会出问题)

cd /etc/udev/rules.d
rm -f 70-persistent-net.rules

IDEA中配置hadoop开发环境

IDEA中整合hadoop开发环境 前言: hadoop程序运行在分布式环境下,运行调试MapReduce只需要对应的hadoop相应的依赖jar包就可以,下面以是在伪分布模式下hadoop程序的...
  • chaoping315
  • chaoping315
  • 2017年12月26日 17:54
  • 122

hadoop运行环境安装与配置+hadoop开发环境配置(一)

这两篇主要小结在hadoop学习过程中,Linux(ubuntu)下hadoop安装与环境配置+window下开发环境的配置。 这是第一篇,主要小结hadoop在ubuntu环境下的安装与配置。 ...
  • qq_23617681
  • qq_23617681
  • 2016年04月19日 23:29
  • 429

eclipse配置hadoop2.7.2开发环境并本地跑起来

先安装并启动hadoop,怎么弄见上文http://www.cnblogs.com/wuxun1997/p/6847950.html。这里说下怎么设置IDE来开发hadoop代码和调试。首先要确保你本...
  • yongge1981
  • yongge1981
  • 2018年01月08日 14:54
  • 31

windows上eclipse搭建hadoop开发环境(自用,备忘)

一.系统环境 Windows7、Ecplise 4.4.0,Hadoop2.7.2 Hadoop安装教程请看:Hadoop2.7.2安装教程 二.安装步骤 1.安装hadoop插件 下载hadoop-...
  • oSayMissyou0
  • oSayMissyou0
  • 2016年07月22日 14:00
  • 3117

Hadoop那些事儿(二)---MapReduce开发环境搭建

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境,这篇文章主要为MapReduce开发环境的搭建流程。1.HDFS伪分布式配置使用MapReduce时,如果需要与HDFS建立连接,及...
  • u012116457
  • u012116457
  • 2017年01月19日 20:41
  • 2439

IntelliJ IDEA搭建Hadoop开发环境

前言        这是关于Hadoop的系列文章。 Hadoop基本概念指南 Eclipse搭建Hadoop开发环境二三事 IntelliJ IDEA搭建Hadoop开发环境...
  • wangmeng951011
  • wangmeng951011
  • 2017年06月10日 22:51
  • 3788

Hadoop-2.7.3_MapReduce开发环境搭建

在YARN配置完毕之后,尝试使用Eclipse开发MR程序。 1、打开eclipse,建立工程,并把hadoop-2.7.3/share/hadoop/mapreduce以及hadoop-2.7.3...
  • i792439187
  • i792439187
  • 2017年01月19日 10:54
  • 518

配置Hadoop开发环境(Eclipse)

Hadop 2.2.0 Eclipse开发环境配置
  • zythy
  • zythy
  • 2013年12月18日 16:43
  • 55099

在 Windows 平台下部署 Hadoop 开发环境

在 Windows 平台下部署 Hadoop 开发环境 ,安装并配置Hadoop,学习怎么在本地调试运行Map/Reduce程序。...
  • savechina
  • savechina
  • 2010年06月08日 22:49
  • 33356

windows下搭建hadoop+eclipse开发环境

我的环境:windows8+hadoop1.1.2+eclipse4.3(linux为centerOS6.4) 实现步骤 下载eclipse、hadoop,提取hadoop中的hadoop...
  • zwx19921215
  • zwx19921215
  • 2014年02月25日 09:08
  • 28373
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:配置Hadoop开发环境:VirtualBox+CentOS+Yum(1)
举报原因:
原因补充:

(最多只允许输入30个字)