- 博客(5)
- 收藏
- 关注
转载 Hadoop介绍
起源:hadoop的创始者是Doug Cutting,起源于Nutch项目,该项目是作者尝试构建的一个开源的Web搜索引擎。起初该项目遇到了阻碍,因为始终无法将计算分配给多台计算机。谷歌发表的关于GFS和MapReduce相关的论文给了作者启发,最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣,并组建了团队开发,从Nutch中剥离出分布式计算模块命名为“Hadoop”。最终Hadoop在雅虎的帮助下能够真正的处理海量的Web数据。 Hadoop集群是一种分布式的
2022-06-04 21:21:34
621
原创 Hadoop核心组件-HDFS原理解析
在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为。 是 Apache Hadoop 项目的一个子项目。Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统。 HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。HDFS是一个 体系结构 ,HDFS由四部分组成,和。 提供真实文件数据的存储服务。 所有的文件都是
2022-06-04 21:21:05
1033
原创 ZooKeeper原理深度解析
一、ZooKeeper基本介绍大家可以了解一下Paxos的小岛(Island),以便更好的理解Zookeeper的概念1.1.什么是ZooKeeperZooKeeper 是一个开源的分布式协调服务框架,为分布式系统提供一致性服务。那么什么是分布式?什么是协调程序?和集群又有什么区别?举一个例子来说明,现在有一个网上商城购物系统,并发量太大单机系统承受不住,那我们可以多加几台服务器支持大并发量的访问需求,这个就是所谓的Cluster 集群 。如果我们将这个网上商城购物系统拆分成多个子系统,比
2022-05-29 14:24:14
1853
1
原创 Linux安装Zookeeper集群版
Linux安装Zookeeper集群版前置条件:需要安装jdk 1.8三台虚拟机:一主两从(已经提前做了免密登录,hostname修改,hosts映射)node1node2node3版本版本号:zookeeper-3.4.10一、安装包上传解压1.安装包下载地址链接: https://pan.baidu.com/s/1EZq9J3rUBABv0wW46BvtOg密码: pwro2.上传到服务器自行选择上传方式3.将压缩包解压到指定文件目录tar -zxvf zookeeper
2022-05-26 22:53:22
1552
原创 linux系统安装jdk8详细教程
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、下载jdk8的安装包二、压缩包上传解压1.将下载好的压缩包使用ftp工具上传到服务器2.将压缩包解压到指定目录三、配置jdk的环境变量四、测试是否安装成功前言虚拟机版本:centos7jdk版本:1.8提示:以下是本篇文章正文内容,下面案例可供参考一、下载jdk8的安装包方法1:官网手动下载安装包(需要oracle账号登陆之后才能下载)官网地址方法2:百度网盘下载(已经下载好的文件)连接:ht.
2022-04-10 18:07:56
17166
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人