- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hadoop介绍
起源：hadoop的创始者是Doug Cutting，起源于Nutch项目，该项目是作者尝试构建的一个开源的Web搜索引擎。起初该项目遇到了阻碍，因为始终无法将计算分配给多台计算机。谷歌发表的关于GFS和MapReduce相关的论文给了作者启发，最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣，并组建了团队开发，从Nutch中剥离出分布式计算模块命名为“Hadoop”。最终Hadoop在雅虎的帮助下能够真正的处理海量的Web数据。 Hadoop集群是一种分布式的
2022-06-04 21:21:34
459
原创 Hadoop核心组件-HDFS原理解析
在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为。 是 Apache Hadoop 项目的一个子项目。Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统。 HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。HDFS是一个 体系结构 ，HDFS由四部分组成，和。 提供真实文件数据的存储服务。 所有的文件都是
2022-06-04 21:21:05
620
原创 ZooKeeper原理深度解析
一、ZooKeeper基本介绍大家可以了解一下Paxos的小岛(Island)，以便更好的理解Zookeeper的概念1.1.什么是ZooKeeperZooKeeper 是一个开源的分布式协调服务框架，为分布式系统提供一致性服务。那么什么是分布式？什么是协调程序？和集群又有什么区别？举一个例子来说明，现在有一个网上商城购物系统，并发量太大单机系统承受不住，那我们可以多加几台服务器支持大并发量的访问需求，这个就是所谓的Cluster 集群 。如果我们将这个网上商城购物系统拆分成多个子系统，比
2022-05-29 14:24:14
1624
1
原创 Linux安装Zookeeper集群版
Linux安装Zookeeper集群版前置条件：需要安装jdk 1.8三台虚拟机：一主两从（已经提前做了免密登录，hostname修改，hosts映射）node1node2node3版本版本号：zookeeper-3.4.10一、安装包上传解压1.安装包下载地址链接: https://pan.baidu.com/s/1EZq9J3rUBABv0wW46BvtOg密码: pwro2.上传到服务器自行选择上传方式3.将压缩包解压到指定文件目录tar -zxvf zookeeper
2022-05-26 22:53:22
1472
原创 linux系统安装jdk8详细教程
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、下载jdk8的安装包二、压缩包上传解压1.将下载好的压缩包使用ftp工具上传到服务器2.将压缩包解压到指定目录三、配置jdk的环境变量四、测试是否安装成功前言虚拟机版本：centos7jdk版本：1.8提示：以下是本篇文章正文内容，下面案例可供参考一、下载jdk8的安装包方法1：官网手动下载安装包（需要oracle账号登陆之后才能下载）官网地址方法2：百度网盘下载（已经下载好的文件）连接：ht.
2022-04-10 18:07:56
16524
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人