Hadoop是大数据中一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理,下面将和大家介绍一下hadoop以及Linux系统安装Hadoop得详细步骤。
Hadoop简介:
-
Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台
-
Hadoop允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
-
狭义上说,Hadoop指Apache这款开源框架,它的核心组件有:
-
HDFS(分布式文件系统):解决海量数据存储
-
YARN(作业调度和集群资源管理的框架):解决资源任务调度
-
MAPREDUCE(分布式运算编程框架):解决海量数据计算
广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
当下的Hadoop已经成长为一个庞大的体系,随着生态系统的成长,新出现的项目越来越多,其中不乏一些非Apache主管的项目,这些项目对HADOOP是很好的补充或者更高层的抽象。
Linux系统安装Hadoop步骤
安装ssh服务
进入shell命令,输入如下命令,查看是否已经安装好ssh服务,若没有,则使用如下命令进行安装:
sudo apt-get install ssh openssh-server</