老卫带你学---设置Hadoop环境变量

最新推荐文章于 2025-01-31 16:45:37 发布

老卫带你学

最新推荐文章于 2025-01-31 16:45:37 发布

阅读量720

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/yixieling4397/article/details/102567212

版权

hadoop 专栏收录该内容

2 篇文章

订阅专栏

运行hadoop必须设置很多的环境变量，可是如果每次登陆都重新设置就会很麻烦，所以我们在~/.bashrc文件中设置默认环境变量

编辑~/.bashrc

sudo gedit ~/.bashrc

在文件末尾添加以下内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64   ///这里注意电脑上的java版本
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

最后让~/.bashrc修改生效

source ~/.bashrc

接下来要对hadoop配置设置，包括hadoop-env.sh，core-site.xml,YARN-site.xml,mapred-site.xml, hdfs-site.xml.

首先编辑hadoop-env.sh

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

然后将里面的JAVA_HOME改成下面的内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

设置core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

将以下内容添加到配置里
包括设置hdfs的默认名称，我们使用命令或程序，可使用此名称

<configuration>
<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9000</value>
</property>
</configuration>

设置yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

将以下内容添加到配置里

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<property>
	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

</configuration>

设置mapred-site.xml
首先将xml模板文件复制过来

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

编辑napred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

将以下内容添加到配置里，设置mapreduce框架是yarn

<configuration>
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
</configuration>

5.设置hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

将以下内容添加到配置里,设置blocks副本备份数量，设置NameNode数据存储目录，设置DataNode数据存储目录

<configuration>
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
</configuration>