hadoop hdfs 单机配置

最新推荐文章于 2024-05-05 16:10:28 发布

Claroja

最新推荐文章于 2024-05-05 16:10:28 发布

阅读量428

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/claroja/article/details/103140645

版权

hadoop 专栏收录该内容

25 篇文章 0 订阅

订阅专栏

hadoop的配置文件在：/root/apps/hadoop安装目录/etc/hadoop/

1.修改hadoop-env.sh,配置java环境变量
export JAVA_HOME=/usr/local/share/java
2.修改core-site.xml,设置文件系统和访问位置

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
</configuration>

3.修改hdfs-site.xml,设置文件存储的位置(datanode和namenode不在同一个文件夹,所以可以共存在一个机器,通过端口访问)

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>
</configuration>

启动HDFS

1.修改vi /etc/profile

export JAVA_HOME=/usr/local/share/java
export HADOOP_HOME=/usr/local/share/hadoop-2.8.1
export PATH=:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.初始化hdfshdfs namenode -format
3.启动hdfs:start-dfs.sh

可以登录网页查看localhost:50070或使用hadoop shell或使用各种语言的api。