HADOOP的基本操作

目录

一、Hadoop是什么？

二、构建环境

​编辑

三 重启网卡

3.1 随后查看验证是否可以访问外网

四 防火墙

 4.1 关闭防火墙

 4.2 查看是否自启，一般情况下都会自启

4.3 禁止自动启动

 4.4查看是否自启

 五 设置主机名 

一、Hadoop是什么？

Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。

1.2 hadoop 能干什么

1、海量数据存储

HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（High throughput）来访问数据，适合那些有着超大数据集（large data set）的应用程序,它由n台运行着DataNode的机器组成和1台（另外一个standby）运行NameNode进程一起构成。每个DataNode 管理一部分数据，然后NameNode负责管理整个HDFS 集群的信息（存储元数据)。

2、资源管理，调度和分配

Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统 一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨 大好处。

二、构建环境

1.更改静态ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33

 补充说明 查看网关的ip地址可用此命令：先打开终端

ipconfig

三 重启网卡

systemctl restart neteork

3.1 随后查看验证是否可以访问外网

ping www.baidu.com

四 防火墙

防火墙实质是一个程序，它可以控制系统进来或者出去的流量。Centos7默认情况下，防火墙是开机自起的。在集群部署模式下，各个节点之间的进程要通信，为了方便，一般都要关闭防火墙。

 4.1 关闭防火墙

systemctl stop firewalld

 4.2 查看是否自启，一般情况下都会自启

systemctl is-enabled firewalld

4.3 禁止自动启动

systemctl disabled firewalld

 4.4查看是否自启

systemctl is-enabled firewalld

 五 设置主机名 

hostnamectl set-hostname