关闭

HADOOP 开发环境的配置

324人阅读 评论(0) 收藏 举报
分类:

安装JDK

      下载JDK(jdk-6u45-linux-x64.bin)

       下载地址:http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html

        cp /root/Downloads/jdk-6u45-linux-x64.bin  /usr/local

        ./jdk-6u45-linux-x64.bin

mv jdk-6u45-linux-x64 jdk

配置JDK

使用gedit 命令打开/etc/profile,增加如下:

              export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$PATH

保存关闭后,执行source /etc/profile,使之生效。

使用java -version,看到版本信息,即为有效。

==================================================================================

关闭防火墙

	CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙。
	firewall:
	systemctl start firewalld.service#启动firewall
	systemctl stop firewalld.service#停止firewall
	systemctl disable firewalld.service#禁止firewall开机启动
	使用firewall-cmd --state命令查看防火墙是否关闭,显示"not running",即为成功。
设置主机名
	修改gedit /etc/hosts,文本最后增加一行 :192.168.206.128 hadoop0(注意IP与主机名之间有空格)
设置SSH 免密码登录  
	vi  /etc/selinux/config    设置 SELINUX=disabled
	普通用户登录   ssh-keygen -t dsa(或者rsa),一直回车,然后 cd ~/.ssh ,然后 cat id_dsa.pub >>authorized_keys
最后测试ssh localhost,出现last login....字样即为成功。
安装hadoop
	hadoop安装方式有三种:本地方式、伪分布式方式和集群方式,我们本次以自用就用伪分布式方式安装。
	hadoop包:hadoop-1.1.2.tar.gz
	cp hadoop-1.1.2.tar.gz /usr/local
	tar -zxvf hadoop-1.1.2.tar.gz
	mv hadoop-1.1.2 hadoop					hadoop 完整目录为/usr/local/hadoop
配置环境变量
	gedit /etc/profile
	增加 export HADOOP_HOME=/usr/local/hadoop
		export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
修改hadoop的配置文件    $hadoop_home/conf
	1、hadoop-env.sh
	export JAVA_HOME=/usr/local/jdk
	2、core-site.xml
	<configuration>
		<property>
			<name>fs.default.name</name>
			<value>hdfs://hadoop0:9000</value>
			<description>change your own hostname</description>
		</property>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/usr/local/hadoop/tmp</value>
		</property>
	</configuration>
	3、hdfs-site.xml
	<configuration>
		<property>
			<name>dfs.replication</name>
			<value>1</value>
		</property>
		<property>
			<name>dfs.permissions</name>
			<value>false</value>
		</property>
	</configuration>
	4、mapred-site.xml
	<configuration>
		<property>
			<name>mapred.job.tracker</name>
			<value>hadoop0:9001</value>
		</property>
	</configuration>
启动HADOOP
	/usr/local/hadoop/bin/hadoop namenode -format(第一次启动要格式化,以后就不用了)
	再执行   /usr/local/hadoop/bin/start-all.sh
	再执行JPS,查看进程,namenode,datanode,jobtracker,tasktracker,secondarynamenode
浏览haddoop
	http://master:50070/50030


0
0
查看评论

IDEA中配置hadoop开发环境

IDEA中整合hadoop开发环境 前言: hadoop程序运行在分布式环境下,运行调试MapReduce只需要对应的hadoop相应的依赖jar包就可以,下面以是在伪分布模式下hadoop程序的开发与调试IDEA环境的配置 环境: 操作系统:Ubuntu 16 hadoop: hadoop...
  • chaoping315
  • chaoping315
  • 2017-12-26 17:54
  • 116

hadoop运行环境安装与配置+hadoop开发环境配置(一)

这两篇主要小结在hadoop学习过程中,Linux(ubuntu)下hadoop安装与环境配置+window下开发环境的配置。 这是第一篇,主要小结hadoop在ubuntu环境下的安装与配置。 不对之处,请指正。 一、hadoop介绍 hadoop时一个分布式开源计算框架。 是当...
  • qq_23617681
  • qq_23617681
  • 2016-04-19 23:29
  • 427

eclipse配置hadoop2.7.2开发环境并本地跑起来

先安装并启动hadoop,怎么弄见上文http://www.cnblogs.com/wuxun1997/p/6847950.html。这里说下怎么设置IDE来开发hadoop代码和调试。首先要确保你本地装了eclipse,再下个eclipse的hadoop插件就完事了。下面细说一下:   1、到h...
  • yongge1981
  • yongge1981
  • 2018-01-08 14:54
  • 29

windows上eclipse搭建hadoop开发环境(自用,备忘)

一.系统环境 Windows7、Ecplise 4.4.0,Hadoop2.7.2 Hadoop安装教程请看:Hadoop2.7.2安装教程 二.安装步骤 1.安装hadoop插件 下载hadoop-eclipse-plugin-2.7.2.jar(点击下载),并且拷贝到eclipse根目录下/dr...
  • oSayMissyou0
  • oSayMissyou0
  • 2016-07-22 14:00
  • 3063

IntelliJ IDEA搭建Hadoop开发环境

前言        这是关于Hadoop的系列文章。 Hadoop基本概念指南 Eclipse搭建Hadoop开发环境二三事 IntelliJ IDEA搭建Hadoop开发环境 准备 &...
  • wangmeng951011
  • wangmeng951011
  • 2017-06-10 22:51
  • 3696

在 Windows 平台下部署 Hadoop 开发环境

在 Windows 平台下部署 Hadoop 开发环境 ,安装并配置Hadoop,学习怎么在本地调试运行Map/Reduce程序。
  • savechina
  • savechina
  • 2010-06-08 22:49
  • 33348

用Eclipse搭建Hadoop2.7.1开发环境

安装之前下载所需软件: eclipse:http://www.eclipse.org/downloads/ jre下载:http://www.java.com/en/download/manual.jsp Hadoop2.7.1插件下载:http://download.csdn.net/det...
  • young_kim1
  • young_kim1
  • 2015-12-07 17:40
  • 10620

Hadoop那些事儿(二)---MapReduce开发环境搭建

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境,这篇文章主要为MapReduce开发环境的搭建流程。1.HDFS伪分布式配置使用MapReduce时,如果需要与HDFS建立连接,及使用HDFS中的文件,还需要做一些配置。 首先进入Hadoop的安装目录cd /usr/local...
  • u012116457
  • u012116457
  • 2017-01-19 20:41
  • 2418

Hadoop-2.7.3_MapReduce开发环境搭建

在YARN配置完毕之后,尝试使用Eclipse开发MR程序。 1、打开eclipse,建立工程,并把hadoop-2.7.3/share/hadoop/mapreduce以及hadoop-2.7.3/share/hadoop/common下的jar文件加到项目的类路径。 2、新建类。 pack...
  • i792439187
  • i792439187
  • 2017-01-19 10:54
  • 517

配置Hadoop开发环境(Eclipse)

Hadop 2.2.0 Eclipse开发环境配置
  • zythy
  • zythy
  • 2013-12-18 16:43
  • 55069
    个人资料
    • 访问:174995次
    • 积分:2709
    • 等级:
    • 排名:第15776名
    • 原创:85篇
    • 转载:78篇
    • 译文:5篇
    • 评论:19条
    最新评论