【-- Hadoop --】
分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。
始途行者
收集分享总结一些文章 方便查看 希望能够帮助到大家。
展开
-
【Hadoop】Hadoop 安装(HDFS)
一、部署Java 创建三台虚拟机 部署Java 解压配置环境变量 具体安装步骤参考:手把手教你在Linux环境下安装JDK 1.8.0 二、配置SSH免密登录 目的是使用脚步启动远程服务器的启动,必须使用shell登陆远程服务,但每个登陆都需要输入密码就非常麻烦,所有需要配置无密配置,需要在NameNode上生成私钥,把公钥发给DataNode。 SSH基本原理 SSH之所以能够保证安全,原因在于它采用了公钥加密。过程如下: (1)远程主机收到用户的登录请求,把自己的公钥发给用户。 (2)用户使用这个原创 2020-08-11 13:26:03 · 272 阅读 · 0 评论 -
【Hadoop】入门基本介绍
1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。 (1)Pig是一个基于Hadoop的大规模数据分析平台,Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口; (2)Hive是基于Hadoop的一个工具,提供完整的SQL查询,可以将原创 2020-07-31 15:57:55 · 146 阅读 · 0 评论