Hadoop-单机版安装

最新推荐文章于 2024-03-21 14:58:40 发布

oJueQiang123456

最新推荐文章于 2024-03-21 14:58:40 发布

阅读量165

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/oJueQiang123456/article/details/88208055

版权

Hadoop 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

一、概述

hadoop-3.1.1.tar.gz
配置文件目录：/hadoop-3.1.1/etc/hadoop/

二、安装

[root@bogon hadoop]# cd hadoop-3.1.1
[root@bogon hadoop-3.1.1]# ls
bin  etc  include  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share
[root@bogon hadoop-3.1.1]#

1、配置hadoop-env.sh，添加：

# export HDFS_NAMENODE_USER=hdfs
export JAVA_HOME=/data/local/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

2、配置core-site.xml(主结点相关信息)，添加

<configuration>
    <property>
	<name>fs.defaultFS</name>
	<value>hdfs://ip:9820</value>
    </property>
    #路径自定义：namenode、datanode的数据存放路径
    <property>
	<name>hadoop.tmp.dir</name>
	<value>/data/local/hadoop/data</value>	
    </property>
</configuration>

3、配置hdfs-site.xml(从节点相关信息)，添加

<configuration>
    # 副本数
    <property>
	<name>dfs.replication</name>
	<value>1</value>
    </property>
    <property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>ip:9868</value>
    </property>
</configuration>

4、配置从节点:workers，添加

ip

5、设定本机的无密码ssh登陆

ssh-keygen -t rsa 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6、启动hdfs

./bin/hdfs namenode -format	# 第一次启动时使用：生成元数据信息和clusterID
./sbin/start-dfs.sh

7、访问：ip:9870

8、添加一个文件的操作

# 创建文件夹temp
./bin/hdfs dfs -mkdir /temp

# 查看目录
./bin/hdfs dfs -ls /

#上传文件
./bin/hdfs dfs -put /data/local/hadoop/hadoop-3.1.1.tar.gz /temp
./bin/hdfs dfs -ls /temp

Found 1 items
-rw-r--r--   1 root supergroup  334559382 2019-03-05 08:57 /temp/hadoop-3.1.1.tar.gz