hadoop

下载

Index of /dist/hadoop/common/hadoop-3.3.0 (apache.org)

1.部署

1.1.修改配置文件

1.1.1.修改workers文件

配置部署设备的主机名

1.1.2.修改hadoop-env.sh文件

export JAVA_HOME=/export/server/jdk

export HADOOP_HOME=/export/server/hadoop

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_LOG_DIR=$HADOOP_HOME/logs

# 配置jdk的环境变量

# hadoop的安装位置

# 配置文件目录位置

# hadoop运行日志目录的位置

1.1.3.修改core-site.xml文件

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://老大主机名称:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

1.1.4.修改hdfs-site.xml

<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
  </property>
<property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

# hdfs文件系统，默认创建的文件权限设置 值：700，即：rwx------

# NameNode元数据的存储位置 值：/data/nn，在node1节点的/data/nn目录下

# NameNode允许哪几个节点的DataNode连接（即允许加入集群） 值：node1、node2、node3，这三台服务器被授权

# hdfs默认块大小 值：268435456（256MB）

# namenode处理的并发线程数 值：100，以100个并行度处理文件系统的管理任务

# 从节点DataNode的数据存储目录 值：/data/dn，即数据存放在node1、node2、node3，三台机器的/data/dn内

注意！

node1需要创建文件夹/data/nn和/data/dn

node2和node3创建/data/dn就行，然后需要把hadoop远程复制到这三台服务器上

1.2.配置环境变量

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.hadoop命令

2.1.hadoop初始化

hadoop namenode -format

 2.2.启动hdfs

start-dfs.sh

2.3.关闭hdfs

stop-dfs.sh

 2.4.查看系统的java进程

jps

2.Hadoop集群整体概述

 

3.HDFS(分布式文件存储)

4.YARN(集群资源管理、任务调度)

5.MapReduce(分布式数据处理)