Linux环境下搭建hadoop环境

最新推荐文章于 2024-07-03 11:33:10 发布

THanHan

最新推荐文章于 2024-07-03 11:33:10 发布

阅读量448

点赞数 1

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/thanhan/article/details/107020229

版权

大数据专栏收录该内容

6 篇文章 0 订阅

订阅专栏

一，安装jdk和hadoop

1，通过Xftp 6将软件包传到虚拟机上

2，解压软件包

tar -zxvf 需要解压的包名 -C /usr/local

3，配置环境

vim /etc/profile

jdk：

export JAVA_HOME=路径
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

hadoop：

export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin

4，重新加载配置

source /etc/profile

5，查看安装情况

输入java、hadoop查看

-bash: java: 未找到命令

不出现上面的信息基本就是安装成功了

二，修改主机名和IP的映射关系

在下面加入

vim /etc/hosts

192.168.xx.xx hadoop

虚拟机的域名后面自己随便起

三，配置hadoop

1，进入hadoop文件夹

cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop

2，修改配置文件

第一个配置文件名：hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}
将${JAVA_HOME}改为jdk的路径

把JAVA_HOME写成绝对路径，这么做是为了防止程序获取不到jdk的路径造成不必要的麻烦

第二个配置文件名：core-site.xml

vim core-site.xml

在中加入下面的信息

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
</property>

第三个配置文件：hdfs-site.xml

vim hdfs-site.xml

在<configuration></configuration>中加入下面的信息

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

第四个配置文件：mapred-site.xml
vim mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

第五个配置文件：yarn-site.xml

vim yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>