大数据
文章平均质量分 85
码农UP2U
这个作者很懒,什么都没留下…
展开
-
大数据 | HDFS 如何实现故障自动转移
为什么需要自动故障转移 在 HDFS 2.x 集群的 HA 模式下通常会有两个 NameNode 用来进行记录元数据,其中一个是主节点(Active),另外一个是备节点(Standby)。主备之间的数据同步通过 JournalNode 节点来充当中介,从而完成了主备节点之间数据的最终一致性。 当 NameNode 的主节点宕机后,通过命令可以切换到它的备节点成为主节点,使用命令进行切换需要人工的参与,虽然这样可以解决HDFS高可用的问题,但是这样的切换还是比较繁琐...原创 2021-12-28 19:22:34 · 1622 阅读 · 0 评论 -
Redis | 事物源码阅读 —— watch
上次阅读事务的源码时,主要阅读了multi、exec 和 discard 相关的命令,文章地址如下:Redis | 事务源码阅读,这次把上次没有看完的部分看接着看一下。Redis的 watch数据结构 关于watch 存在于几个数据结构当中,基本上在redisServer、redisCient 和 redisDb 当中,它们大致的关系如下: 该示意图是一个大致的示意图,不太保证准确。其中,dict 用于保存监视的key,而 dict ...原创 2021-12-27 22:24:12 · 456 阅读 · 0 评论 -
ZKFC 为什么和 NameNode 在一个主机
因为 ZKFC 需要监控 NameNode 服务,从而完成故障自动转移,因此 ZKFC 需要和 NameNode 在同一台主机,如果它们不在同一台主机,那么 ZKFC 和 NameNode 可能出现网络故障,从而导致无法进行有效监控。...原创 2021-12-26 19:14:11 · 1039 阅读 · 0 评论 -
ZooKeeper 集群搭建
目录ZooKeeper 简介ZooKeeper的安装模式ZooKeeper 集群的部署(1)上传 ZooKeeper安装文件(2)配置 ZooKeeper 的配置文件(3)复制 ZooKeeper安装信息到其他节点(4)修改其他节点配置(5)启动 ZooKeeper(6)查看启动状态(7)客户端连接服务器总结ZooKeeper 简介 ZooKeeper 是一个分布式应用程序协调服务,主要用于解决分布式集群中应用系统的一致性问题。Zo...原创 2021-12-25 19:37:55 · 1346 阅读 · 0 评论 -
Redis | 慢查询
目录慢查询关于慢查询的配置慢查询相关的命令命令演示查看慢查询的配置参数设置慢查询配置参数随便测试几条命令查看 Redis 记录的慢查询数量查看慢查询总结 MySQL 中存在慢查询,Redis 中也存在慢查询,Redis 的慢查询是命令执行超过设定阈值的查询就是慢查询。我们来整理一下。慢查询 Redis 会记录命令执行时间超过设定阈值时间的命令,这里的慢查询说的是命令执行慢,并非是 I/O 慢。 一般情...原创 2021-12-17 20:45:05 · 2033 阅读 · 0 评论 -
HDFS 在 HA 模式集群下 JournalNode 节点的作用
目录一、HDFS两个 NN 同步哪些数据二、两个节点同步数据的数据一致性问题三、HDFS 中的 JournalNode 节点四、HDFSHA 模式架构图五、总结 HDFS 在非 HA 模式的集群下,NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但是,只有一台 NameNode 也会有很多的坏处,因为,单台 NameNode ...原创 2021-12-13 20:36:14 · 6179 阅读 · 2 评论 -
大数据 | HDFS 元数据持久化笔记
目录一、HDFS 架构简单介绍二、角色功能三、常用的持久化方案四、HDFS 元数据的持久化五、Secondary NameNode 的引入六、总结一、HDFS 架构简单介绍 HDFS 是一个主从(Master/Slaves)的架构,它由一个 NameNode 和一些 DataNode 组成。其中,NameNode 是主,DataNode 是从。文件元数据由 NameNode 负责存储和管理,且它维护了一个层次型的文件目录树;文件的数据由 DataNod...原创 2021-11-29 18:46:24 · 3202 阅读 · 0 评论 -
Redis | 源码阅读 —— 字符串
目录一、SDS 结构体二、获取字符串的长度三、字符串的连接与拷贝四、二进制安全特性五、兼容 C 字符串六、SDS 空间的分配与释放1、空间预分配2、惰性空间释放七、最后 使用过 Redis 的都知道 Redis 用的最多的可能是它的 Key/Value 的缓存,在 Redis 用作 Key/Value 的缓存时,Value 有若干种数据类型,分别是 String、List、Set、Sorted Set 和 Hash。不同的 Value 类型对应了不同的数...原创 2021-11-27 10:18:04 · 380 阅读 · 0 评论 -
大数据 | Java 操作 HDFS 常用 API
目录一、回顾常用的命令二、引入依赖三、文件列表四、创建目录五、文件的创建六、文件内容的输出七、删除文件八、读取文件/目录的元数据九、上传本地文件到 HDFS十、下载 HDFS 文件到本地十一、总结 上篇文章介绍了关于 HDFS 的常用命令,其常用的命令都有相应的 API,用命令可以完成的功能,使用 Java API 也可以完成。本文介绍关于 HDFS 常用的 Java API。一、回顾常用的命令 在上篇文章中整...原创 2021-11-25 19:59:08 · 2281 阅读 · 0 评论 -
Redis | Redis 哈希相关命令
Redis 支持多种数据结构,比如 字符串、列表、集合、有序集合 和 哈希 等数据结构。本次我整理了关于哈希相关的命令,也就是关于Hashes相关的命令,如下图。 上图中用红色圈中的部分,就是关于哈希相关的命令。如果想要在 Redis 中查看相关的命令可以使用help命令来进行查看,命令如下。127.0.0.1:6379> help @hash 在按下回车后,可以看到 Hashes 相关命令的说明,如下图。...原创 2021-11-23 18:44:42 · 417 阅读 · 0 评论 -
Redis | Redis 有序集合相关命令
目录常用 Sorted Sets 相关命令1、zadd2、zcard3、zcount4、zincrby5、zpopmax6、zpopmin7、zrange8、zrevrange9、zrangebylex10、zrevrangebylex11、zlexcount12、zrangebyscore13、zrevrangebyscore14、zrank15、zrevrank16、zrem17、zremrangebyrank18、zremra原创 2021-11-22 17:50:08 · 278 阅读 · 0 评论 -
Redis | Redis 集合相关命令
目录常用 Sets 相关命令1、sadd2、scard3、sismember4、smembers5、smove6、spop7、srandmember8、srem9、sinter10、sunion11、sdiff12、sinterstore13、sunionstore14、sdiffstore总结 Redis 支持多种数据结构,比如 字符串、列表、集合、有序集合 和 哈希 等数据结构。本次我整理了关于集合相关的命令,也就...原创 2021-11-21 16:42:58 · 720 阅读 · 0 评论 -
Redis | Redis 列表相关命令
之前整理的关于 Redis 的文章:Redis | Redis 的安装Redis | Redis 的帮助命令Redis | Redis 命令分类Redis | Redis 通用命令Redis | Redis 字符串相关命令Redis | Redis 列表相关命令Redis | Redis 集合相关命令Redis | Redis 有序集合相关命令Redis | Redis 哈希相关命令Redis | 源码阅读 —— 字符串Redis | 源码阅读 —— 链表R.原创 2021-11-20 18:17:38 · 844 阅读 · 0 评论 -
Redis | Redis 字符串相关命令
更多的关于 Redis 的文章:Redis | Redis 的安装Redis | Redis 的帮助命令Redis | Redis 命令分类Redis | Redis 通用命令Redis | Redis 字符串相关命令Redis | Redis 列表相关命令Redis | Redis 集合相关命令Redis | Redis 有序集合相关命令Redis | Redis 哈希相关命令Redis | 源码阅读 —— 字符串Redis | 源码阅读 —— ...原创 2021-11-19 11:41:12 · 1093 阅读 · 0 评论 -
Redis | Redis 通用命令
通用命令介绍 Redis 通用命令是一些 Redis 下可以作用在常用数据结构上的常用命令和一些基础的命令,比如删除键、对键进行改名、判断键是否存在等。简单说,就是keys分类的命令,如下图。 上图中圈中的部分,就是所谓的通用的命令。如果想要在 Redis 中查看相关的命令也可以使用help命令来进行查看,命令如下。127.0.0.1:6379> help @generic 在按下回车后,可以看到相应分类命令的说明,...原创 2021-11-18 18:16:46 · 1261 阅读 · 0 评论 -
大数据笔记 | HDFS 常用操作命令
HDFS 是 Hadoop Distributed File System 的简写,即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目,它为大数据分布式计算提供了海量数据的存储与管理。 既然 HDFS 是文件系统,那么它必然有一套对文件管理的命令,这里介绍一下 HDFS 常用的文件管理命令。一、HDFS 命令前缀 所有操作 HDFS 的命令都需要前缀,它的前缀有两种,分别是 hadoop fs 或 hdfs dfs ...原创 2021-11-16 14:39:14 · 8797 阅读 · 2 评论 -
Redis | Redis 也会算距离
之前整理的关于 Redis 的文章:Redis | Redis 的安装Redis | Redis 的帮助命令Redis | Redis 命令分类Redis | Redis 通用命令Redis | Redis 字符串相关命令Redis | Redis 列表相关命令Redis | Redis 集合相关命令Redis | Redis 有序集合相关命令Redis | Redis 哈希相关命令Redis | 源码阅读 —— 字符串Redis | 源码...原创 2021-11-10 15:32:34 · 2464 阅读 · 2 评论 -
大数据笔记 | 无密钥登录操作步骤
目录1.手动复制(1)将各节点的公钥加入到同一个授权文件中1)在 centos01 节点中,生成密钥文件,并将公钥信息加入到授权文件中2)在 centos02 节点中,生成密钥文件,并将公钥文件复制到 centos01 节点的相同目录3)在 centos03 节点中,生成密钥文件,并将公钥文件复制到 centos01 节点的相同目录4)在 centos01 节点中,将 centos02 和 centos03 节点的密钥文件信息都加入到授权文件中(2)复制授权文件到各个节点(3原创 2021-11-06 09:24:59 · 3630 阅读 · 4 评论 -
格式化 NameNode 提示 SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx
在使用 hadoop namenode -format 格式化 NameNode 时,提示如下错误:SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx 网上提示,需要让 hostname 和 /etc/hosts 下的 主机名 与 ip 地址对应,即 xxx 和 xxx.xxx.xxx.xxx 进行对应。在我本地两者是对应的,后来发现,在输出中有这么一句提示信息,如下图。 只要是提示 succ...原创 2021-10-27 23:58:13 · 15526 阅读 · 0 评论