分布式系统
分布式系统
火树银花之处
努力追求卓越、成功就会出其不意的找上门来.
展开
-
zookeeper集群安装部署
zookeeper集群安装部署1)下载并解压wgethttps://downloads.apache.org/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gztar -zxvfzookeeper-3.4.14.tar.gz2)配置环境变量vim~/.bashrc#zookeeperexport ZOOKEE...原创 2020-04-09 17:17:59 · 93 阅读 · 0 评论 -
深入理解Kafka_基本概念(1)
1、Kafka概念Kafka是一个由Scala语言开发的,多分区,多副本,基于zookeeper协调的分布式消息系统2、Kafka组成生产者,broker,消费者,zookeeper集群生产者:将消息发送到brokerbroker:将收到的消息存储到磁盘中消费者:从broker订阅并消费消息zookeeper:负责kafka集群元数据的管理,控制器的选举等操作...原创 2020-04-09 14:43:33 · 1168 阅读 · 0 评论 -
修改Zookeeper输出日志 zookeeper.out输出路径、 脚本定期清理zk快照和日志文件
修改Zookeeper输出日志 zookeeper.out输出路径、 脚本定期清理zk快照和日志文件https://blog.csdn.net/dehu_zhou/article/details/81939965修改Zookeeper输出日志 zookeeper.out输出路径脚本定期清理zk快照和日志文件正常运行过程中,ZK会不断地把快照数据和事务日志输出到dataDi...转载 2020-04-03 15:38:43 · 1106 阅读 · 0 评论 -
fastdfs集群安装及测试(1个tracker,2个storage)
fastdfs集群安装1、准备好安装包,上传服务器(使用普通用户安装)2、安装依赖(所有主机)解压安装包并安装报错:缺少gcc-c++编译器,sudo yum install gcc-c++编译检查依赖:安装:3、安装fastdfs包(所有主机)编译检查依赖:安装:拷贝配置文件:4、启动集群修改配置文件:tr...原创 2020-03-24 17:54:38 · 1101 阅读 · 0 评论 -
hadoop之hdfs简介及入门
hdfs简介及入门1、hdfs是什么?hdfs是一个可以建立在廉价机上的高度容错性和高吞吐量的海量数据存储的分布式文件系统;2、hdfs组成?1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode。2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。3)DataNode 负责管理用户的文...原创 2020-03-08 01:42:14 · 414 阅读 · 0 评论 -
FastDFS简介及入门
1、fastDFS简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容 支持相同内容的文件只保存一份,节约磁盘空间FastDFS只能通过Client API访问,不支持POSIX访问方式FastDFS...原创 2020-03-24 10:00:08 · 2057 阅读 · 0 评论 -
几种常见用以实现负载均衡的软件简介
几种常见用以实现负载均衡的软件简介1、nginx2、haproxy3、LVS原创 2020-02-26 12:31:41 · 1278 阅读 · 0 评论 -
zookeeper入门及简介
zookeeper原理及入门1、zookeeper是什么?2、zookeeper的作用?3、为什么选择zookeeper?原创 2020-02-21 23:29:01 · 293 阅读 · 0 评论 -
CAP原理
CAP原理CAP原理说,一个数据分布式系统不可能同时满足C和A和P这3个条件。所以系统架构师在设计系统时,不要将精力浪费在如何设计能满足三者的完美分布式系统,而是应该进行取舍。由于网络的不可靠性质,大多数开源的分布式系统都会实现P,也就是分区容忍性,之后在C和A中做抉择。三者的定义及个人理解如下:Consistency:一致性,原文翻译过来是说,对于任何从客户端发达到分布式系统的数...原创 2020-02-05 21:32:17 · 168 阅读 · 0 评论