Hadoop 单机安装

Hadoop 单机安装

HDFS：分布式存储系统

MapReduce：分布式计算系统

YARN：hadoop 的资源调度系统，用于同一管理集群中的资源（内存等）

Hive: 分布式数据仓库，其实说白了就是一个数据分析工具，底层用的还是MapReduce

Sqoop:用于将传统数据库中数据导入到hbase或者Hdfs中一个导入工具

YARN：首先是主从结构，主节点可以有两个进程（ResourceManager）更好的HA高性能，从节点可以有多个（NodeManager），ResourceManager主要负责集群资源的分配和调度，NodeManager主要负责单节点管理datanade

 

关闭防火墙 和 SELinux

setenforce 0

vi /etc/selinux/config    将“SELINUX=enforcing”值改为“disabled”

安装jdk ,具体search

单机模式安装

# tar zxvf hadoop-2.10.0.tar.gz

# vi /etc/profile  内容如下

export HADOOP_HOME=/opt/soft/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

# source /etc/profile

# whereis hdfs   验证环境变量

 

测试

准备测试数据

mkdir -p /data/input

vi /data/input/data.t