- 博客(6)
- 收藏
- 关注
RSS订阅原创 Redis持久化之AOF。 详细解释
AOF（Append Only File）1 是什么以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作1.2.AOF默认不开启可以在redis.conf中配置文件名称，默认为 appendonly.aof 597行AOF文件的保存路径，同RDB的路径一致。1.2.1 597 行意
2021-11-07 17:57:37
235
原创 kafka的的高效读写是如何实现的？详细讲解
1）顺序写磁盘Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到到600M/s，而随机写只有100k/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。2）应用Pagecache（页面缓存）（等一波消息，在进行落盘）Kafka数据持久化是直接持久化到Pagecache中，这样会产生以下几个好处：I/O Scheduler 会将连续的小块写组装成大块的物理写从而提高性能I/O Sch
2021-10-31 19:04:13
487
原创 zookeeper选举机制！超级详细！！基于不同场景下选举机制分析
首先先记住选举的总原则：当zk集群中任意一台机器得到 选票数超过机器总数的一半以上， 它就是当前集群的leader。第一种情况：在一个新搭建的集群下进行选举（集群中没有数据）举例：以5台机器为例前提：集群配置没问题！1,2,3,4,5 顺时启动server1 启动，此时它会给自己投票，因为当前票数没有过半，它 的投票结果出于（LOOKING）server2 启动，此时先给自己投一票，然后server2和server1进行通信， 相互交换选票，此时发现个自有一票，那么进行myid（配置集
2021-10-20 08:34:38
497
原创 Hive中解析Json字段、json日志分析所用到的嵌套json解析
首先在百度搜索，json格式解析，将这段话变个格式看起来舒服。然后，通过通过嵌套使用json函数解决。大概就是将内层的json字段当作一个整体，然后先将这个外层作为解析。在通过子查询使用方法，在外套一层json查询，将当作整体的界面在json解析就出来了；简单举例：数据内容：{"name":"abc","age":"18","home":{"sheng":"neomenggu"}}1.可以解析多个字段：json_tuple(字段，“m1”,“m2”) as (别名1，别名2)注意：1.可以
2021-10-17 10:07:09
704
原创 hadoop集群系类---hadoop命令的简单使用（超详细！！！）
大家好！欢迎大家来打胖大牛hadoop集群课程第二课，今天向大家介绍下hadoop的部分操作命令：目录：1. 基本语法1.1命令大全2.常用命令实操2.1 -help：输出这个命令参数2.2 创建/sanguo 文件夹为后续操作方便1）-moveFromLocal：从本地剪切粘贴到 HDFS(本地就没有了)2）-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去3）-put：等同于 copyFromLocal，生产环境更习惯用 put4）-appendToFile：追加一个文件到已经
2021-09-26 13:04:53
232
原创 Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程1.环境准备2 jdk1.8安装2.1 卸载虚拟机自带的JDK2.2 安装JDK1.83.在 hadoop102 安装Hadoop集群3.1集群安装准备3.2 安装hadoop3.3 hadoop运行模式3.4 完全分布式运行模式（开发重点）3.4.1 编写集群分发脚本 xsync3.4.2 ssh免密配置3.4.3 集群配置3.4.4 启动集群在学习的时候，碰到过很多同学，因为安装集群遇到过各种稀奇古怪的问题，导致很多人的兴趣大大降低。并且本人
2021-09-18 14:09:17
9425
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人