Hadoop简介
Hadoop是Apache开源组织的一个分布式计算开源框架,用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。
Hadoop的优点:高可靠性、高扩展性、高效性、高容错性、低成本
实验 JDK+Hadoop集群
软件程序 VMWare 12 CentOS7 SecureCRT Jdk-8u121-linux-x64 Hadoop-2.7.3
实验步骤
一、环境准备
1.安装并激活VMWare 12;
2. 创建虚拟机,安装Linux系统CentOS7,设置主机名,开启网络服务,设置管理员账户密码;
3.在Windows下安装SecureCRT,并使用激活工具激活,创建与CentOS7的虚拟机的链接。修改SecureCRT的外观属性设置:【Options】→【Session Options】→【Appearance】→【Font】选择字体【Character encoding】选择 UTF-8。
二、Hadoop三种模式
1.在SecureCRT连接虚拟机,检查防火墙状态,停止和禁止防火墙的相关服务;
firewall-cmd --state 显示防火墙状态running/not running
systemctl stop firewalld 临时关闭防火墙,每次开机重新开启防火墙
systemctl disable firewalld 禁止防火墙服务。