- 博客(9)
- 收藏
- 关注
RSS订阅原创 Redis集群——《Redis设计与实现》
节点节点就是一个运行在集群模式下的Redis服务器，Redis服务器在启动时会根据cluster-enabled配置选项是否为yes来决定是否开启服务器的集群模式。每个节点都会使用一个clusterNode结构来记录自己的状态，并为集群中的所有其他节点(主从节点)都创建一个相应的clusterNode结构，以此来记录其他节点的状态。具体步骤：1、节点A会为jiedianB创建一个clusterNode结构，并将该结构添加到自己的clusterState.nodes字典里面；2、节点A
2020-08-09 15:10:41
227
原创 Sentinel——《Redis设计与实现》
Sentinel是Redis的高可用性解决方案：由一个或多个Sentinel实例组成的Sentinel系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器属下的某个从服务器升级为新的主服务器，然后由新的主服务器代替已下线的主服务器继续处理命令请求。首先当Sentinel启动时，需要执行以下步骤：1）初始化服务器2）将普通Redis服务器使用的代码替换成Sentinel专用代码3）初始化Sentinel状态4）根据给定的配
2020-07-19 16:26:52
160
原创 主从服务器的复制机制——《Redis设计与实现》
主从服务器的复制机制完全重同步用于初次复制情况：接收到psync命令后执行BGSAVE命令，在后台生成一个RDB文件，并使用一个缓存区记录从现在开始执行的所有写命令；RDB文件生成完毕后发送给从服务器，从服务器接收并载入RDB文件，将自己的服务器状态更新至主服务器执行BGSAVE命令时的数据库状态，再执行接收的主服务器缓冲区中的写命令。部分重同步则用于处理断线后重复制情况：部分重同步功能由主从服务器的复制偏移量、主服务器的复制积压缓冲区、服务器的运行ID(run ID)三部分构成；主从服务.
2020-07-12 15:05:38
145
原创 Redis的持久化———《Redis的设计与实现》
1、键的生存时间或过期时间2、RDB持久化3、AOF持久化(1) Redis有四个不同的命令可以用于设置键的生存时间或者过期时间，EXPIRE、PEXPIRE 、EXPIREAT和PEXPIREAT；前三个命令都是使用PEXPIREAT命令实现 ，无论客户端执行的是以上四个命令中的哪个，经过转换后，最终的执行效果都和执行PEXPIREAT命令一样(2)TTL命令以秒为单位返回键的剩余生存时间，PTTL命令以毫秒为单位返回键的剩余生存时间；PERSIST命令可以移除一个键的过期时间；.
2020-07-05 18:14:11
124
原创 学习大数据的第二天——hadoop的本地安装、伪分布安装和全分布式安装
1、hadoop本地安装 特点：没有HDFS和Yarn 只能够测试MapReduce程序是否成功，作为一个普通的Java程序 修改文件：vi /opt/module/hadoop_2.7.3/etc/hadoop/hadoop-env.sh,/opt/module/hadoop_2.7.3/etc/hadoop是hadoop的安装路径。修改hadoop-...
2020-06-17 10:00:52
103
原创 Hadoop组件学习(三)——HDFS的设计与高可用性
HDFS的设计 大数据集：在HDFS上运行的应用程序具有大量数据集，因此HDFS支持大文件并具有较高的聚合数据带宽；HDFS中的典型文件大小为GB到TB 流式数据访问：HDFS支持一次写入、多次读取的访问模式；数据集通常由数据源生成或从数据源中复制而来，接着长时间在此数据集上进行各种分析。每次分析都将涉及该数据集的大部分数据甚至全部，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。 故障恢复：Hadoop并不需要运行在昂贵且高可靠的硬件上，是设计运行在商用硬件(在零售店可以买到的
2020-06-07 17:29:24
461
原创 Hadoop组件学习(二)——属性与安全性
1、Hadoop的部分属性2、Hadoop的安全性Hadoop的部分属性 1、委任和解除节点 Hadoop集群的管理员经常需要向集群中添加节点或从集群中移除节点。例如，为了扩大存储容量，需要委任节点；相反的，如果想要缩小集群规模或节点表现反常，例如故障率过高或者性能过低，则需要解除该节点。 委任新节点 include文件说明：允许连接到namenode的所有datanode放在一个文件中，文件名称有dfs.hosts属性指定。该文件放在namenode的本地文...
2020-05-31 16:27:05
411
原创 Hadoop组件学习(一) —— 单点与集群的配置
一、Hadoop核心组件 1.分布式文件存储系统HDFS(Hadoop Distributed File System) 2.资源管理系统YARN(Yet Another Resource Negotiator) 3.分布式计算框架MapReduce二、Hadoop安装 支持平台 ： Windows也是受支持的平台，但以下步骤仅适用于Linux Linux所需要的软件包括 1. 必须安装java，Hadoop的2.7版(含2.7)和更高...
2020-05-24 20:35:58
560
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人