dwjf321-CSDN博客

文章目录1. 搭建 redis 环境2. 配置从节点3. 主从操作命令4. 哨兵搭建5. 编写启动脚本1. 搭建 redis 环境根据上一节的内容搭建 redis 环境2. 配置从节点修改 redis.conf文件，并添加以下内容：slaveof hadoop102 6379masterauth 1234563. 主从操作命令查看主从信息info replicationhadoop102 节点：127.0.0.1:6379> info replication# Rep

2021-03-10 15:48:30 138

原创 Redis 实战 —— Redis为什么是单线程，高并发快的3大原因详解

文章目录1. Redis 的高并发和快速原因2. 为什么Redis是单线程的2.1 官方答案2.2 性能指标2.3 详细原因3. Redis单线程的优劣势3.1 单进程单线程优势3.2 单进程单线程弊端4. IO多路复用技术5. Redis高并发快总结1. Redis 的高并发和快速原因redis 是基于内存的，内存的读写速度非常快；redis 是单线程的，省去了很多上下文切换线程的时间；redis使用多路复用技术，可以处理并发的连接。非阻塞IO 内部实现采用 epoll，采用了epol

2021-03-10 15:48:19 192

原创 Redis 实战 —— Redis 持久化和奔溃恢复

文章目录1. RDB持久化1.1 RDB 持久化配置1.2 RDB 持久化的过程2. AOF 写入日志由于 redis 存储在内存中且提供一般编程语言常用的数据结构存储类型，所以经常被用于做服务器崩溃宕机的数据恢复处理。服务器可以在某些指定过程中将需要保存的数据以 json 对象等方式存储到 redis 中，也就是我们常说的快照，当服务器运行时读取 redis 来判断是否有待需要恢复数据继续处理的业务。当一次业务处理结束后再删除redis 的数据即可。redis 提供两种将内存数据导出到硬盘实现数据备份的

2021-03-09 14:37:54 455

原创 Redis 实战 —— Redis 主从复制原理

文章目录1. Redis 主从复制1.1 主从复制1.2 Redis 主从复制的好处1.3 主从复制的配置1.4 主从切换的操作命令2. Redis 主从复制的原理2.1 全量同步2.2 增量同步2.3 Redis 主从同步策略2.4 无盘复制3. master 不能持久化时主从复制的安全问题4. 限制有 N 个以上从服务器才允许写入1. Redis 主从复制1.1 主从复制和 mysql 主从复制的原因一样，Redis 虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Re

2021-03-09 14:36:48 150

原创 Redis 实战 —— Redis 安装

文章目录1. 环境准备2. Redis 安装3. Redis 配置4. 启动 Redis1. 环境准备下载安装包$ wget https://download.redis.io/releases/redis-4.0.11.tar.gz安装编译环境如果有 gcc 编译环境跳过$ sudo yum install gcc$ sudo yum install gcc-c++ 2. Redis 安装解压$ tar -zvxf redis-4.0.11.tar.gzma

2021-03-09 14:34:02 106

原创深入理解 MySQL —— canal 安装和配置

文章目录1. mysql 开启 bin log2 安装 canal3. HA 模式配置4. canal-admin 安装1. mysql 开启 bin log修改 /etc/my.cnf$ vim /etc/my.cnf添加内容：[mysqld] log-bin=mysql-binbinlog-format=ROWserver-id=102重启 mysql$ service mysqld restart创建 canal 用户，并授权CREATE USER cana

2021-03-09 14:21:53 458

原创深入理解 MySQL —— mysql 主从配置

文章目录1. 在 hadoop103 节点安装mysql2. mysql 基于 binlog 的主从复制原理3. 主从复制配置3.1 Master 配置3.2 Slave 配置3.2 主从同步异常处理3.3 异常处理1. 在 hadoop103 节点安装mysql安装步骤2. mysql 基于 binlog 的主从复制原理Master 将操作记录到二进制日志（binary log）中（这些记录叫做二进制日志事件，binary log events）。Slave 通过 I/O Thread 异步

2021-03-09 14:20:02 192 1

原创深入理解 MySQL —— mysql 安装和配置

文章目录1. 安装 mysql2. 重置密码1. 安装 mysql查看 mysql 是否安装，如果安装了，卸载 mysql[dwjf321@hadoop102 mysql-libs]$ rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64卸载 mysql[dwjf321@hadoop102 mysql-libs]$ rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64下载 mysql 5.7 的

2021-03-09 14:17:36 153

原创深入理解 MySQL —— 理解 MySQL MVCC 机制

文章目录1. MVCC 是什么？2. MVCC 主要有什么作用？2.1 MVCC 逻辑流程——插入2.2 MVCC 逻辑流程——删除2.3 MVCC 逻辑流程——更新2.4 MVCC 逻辑流程——查询3. undo log3.1 undo log 是什么3.2 当前读和快照读4. redo log4.1 redo log 是什么4.2 redo log 配置1. MVCC 是什么？MVCC其实就是一个多版本并发控制，即多个不同版本的数据实现并发控制的技术，其基本思想是为每次事务生成一个新版本的数据，在读

2021-03-09 14:16:19 303

原创深入理解 MySQL —— MySQL 锁

文章目录1. 什么是锁2. mysql Innodb 锁类型2.1 共享锁 VS 排它锁2.2 意向共享锁（IS）和意向排它锁（IX）2.3 自增锁3. 行锁的实现3.1 Innodb 行锁到底锁了什么？3.2 临键锁（Next-key Locks）3.3 间隙锁（Gap Locks）3.4 记录锁（Record Locks）4. 利用锁解决的问题4.1 利用锁怎么解决脏读4.2 利用锁怎么解决不可重复读4.3 利用锁怎么解决幻读5. 死锁5.1 死锁产生的条件5.2 避免死锁1. 什么是锁锁是用于管

2021-03-09 14:14:22 119

原创深入理解 MySQL —— MySQL 事务

文章目录1. 什么是事务？1.1 典型事务场景1.2 如何开启事务2. 事务 ACID 特性2.1 原子性（Atomicity）2.2 一致性（Consistency）2.3 隔离性（Isolation）2.4 持久性（Durability）3. 事务并发带来的问题3.1 脏读3.2 不可重复读3.3 幻读4. 事务隔离级别设置4.1 数据库设置事务隔离级别4.2 java 代码设置事务隔离级别5. Innodb 引擎对事务隔离级别的支持1. 什么是事务？事务是数据操作的最小工作单元，是作为单个逻辑工作

2021-03-09 14:11:18 165 1

原创深入理解 MySQL —— MySQL 查询详解

文章目录1. MySQL 的查询过程1.1 客户端/服务端通信1.2 客户端/服务端通信状态查询1.3 查询缓存1.3.1 查询缓存的设置1.3.2 不会缓存的情况1.3.3 查询缓存是一个坑？1.3.4 查询缓存适用的场景1.4 查询优化处理1.4.1 查询优化处理的三个阶段1.4.2 最优执行计划1.4.3 执行计划1.4.3.1 执行计划 — ID1.4.3.2 执行计划 — select_type1.4.3.3 执行计划 — table1.4.3.4 执行计划 — type1.4.3.5 执行计划

2021-03-09 14:01:31 256 1

原创深入理解 MySQL —— MySQL 的体系结构和存储引擎

文章目录1. MySQL 的体系结构2. 存储引擎介绍2.1 Myisam 存储引擎2.2 Innodb 存储引擎1. MySQL 的体系结构Client Connectors接入方支持协议很多Management Serveices & Utilities系统管理和控制工具，mysqldump、mysql 复制集群、分区管理等Connection Pool连接池：管理缓冲用户连接、用户名、密码、权限校验、线程处理等需要缓存的需求SQL InterfaceSQ

2021-03-02 11:33:47 161

原创深入理解 MySQL —— MySQL 的索引

文章目录1. 索引是什么？2. 为什么要用索引？3. 为什么使用 B+Tree？3.1 二叉树分析3.2 多路平衡树分析3.4 为什么选用 B+Tree ？4. B+Tree 在 MySQL 索引中的体现5. 选择怎样的列创建索引5.1 选择离散性高的列5.2 最左匹配原则5.3 联合索引选择原则6. 覆盖索引7. 现在，你能都理解了么？1. 索引是什么？索引是为了加速对表中数据行的检索而创建的一种分散存储的数据结构。2. 为什么要用索引？索引能极大的减少存储引擎需要扫描的数据量。索引可以把

2021-03-02 11:17:46 103

原创 Kafka 原理分析—— Parition的高可用副本机制

文章目录1. 副本分配算法2. kafka副本机制中的几个概念3. 副本协同机制4. 副本同步队列（ISR）5. 水位值 (HW) 和日志末端位移 (LED)6. 数据的同步过程我们已经知道 Kafka 的每个 topic 都可以分为多个 Partition，并且多个 Partition 会均匀分布在集群的各个节点上。虽然这种方式能够有效的对数据进行分片，但是对于每个 partition 来说都是单点的。当其中一个 partition 不可用的时候，那么这部分消息就没办法消费。所以 Kafka 为了提高

2021-03-02 11:06:23 221

原创 Kafka 原理分析——消息存储的原理

Kafka 原理分析——消息存储的原理文章目录Kafka 原理分析——消息存储的原理1. 消息的文件存储机制2. LogSegment3. 查看 segment 文件命名规则4. segment 中 index 和 log 的对应关系5. 在 partition 中如何通过 offset 查找 message6. Log 文件的消息内容分析7. 日志的清除策略8. 日志的压缩策略1. 消息的文件存储机制我们知道一个 topic 的多个 partition 在物理磁盘上保存在 log.dirs配置的路径

2021-03-02 11:03:34 580 2

原创 Kafka 实战指南——Kafka API 实战

文章目录1. 环境准备2. 生产者 Java API3. 自定义分区4. Kafka 消费者 Java API1. 环境准备创建 maven 工程，添加依赖：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.1.0</version></de

2021-03-02 11:01:59 210

原创 Kafka 实战指南——Kafka 消费者配置

文章目录1. 消费位点提交2. 消费位点重置3. session 超时和心跳监测4. 拉取大消息5. 拉取公网6. 消息重复和消费幂等7. 消费失败8. 消费延迟9. 消费阻塞以及堆积10. 提高消费速度11. 消息过滤12. 事务消息13. 消息广播14. 订阅关系1. 消费位点提交消息队列Kafka版消费者有两个相关参数：enable.auto.commit：默认值为 true，自动提交。auto.commit.interval.ms：默认值为1000，也即1s。这两个参数组合的结果就是

2021-03-02 11:00:36 5068

原创 Kafka 实战指南——Kafka 生产者配置

文章目录1. Key和Value2. 失败重试3. 异步发送4. 线程安全5. Acks6. Batch7. 单个请求的最大值8. OOM9. 分区顺序10. 顺序保证11. Producer 幂等性11.1 Producer 幂等性设置11.2 幂等性原理11.3 原因分析12. Producer 开启事务12.1 Producer 事务示例12.1.2 查找TransactionCoordinator事务实现原理12.1.3 获取PID12.1.4 开启事务12.1.5 Consume-Porcess-

2021-03-02 10:58:35 2670

原创 Kafka 实战指南—— Kafka 工作原理分析

文章目录1. Kafka 生产过程分析1.1 Kafka 的消息写入方式（顺序写磁盘）1.2 分区（Partition）1.2.1 为什么要分区1.2.2 分区的原则1.3 副本（Replication）1.4 写入流程2. Broker 保存消息2.1 存储方式2.2 存储策略2.3 Zookeeper 存储结构3. Kafka 消费过程分析3.3 消费者组3.4 消费方式Kafka 核心组成：图 Kafka 核心组成1. Kafka 生产过程分析1.1 Kafka 的消息写入方式（顺序写磁盘）

2021-03-02 10:49:06 286

原创 Kafka 实战指南——Kafka概述

文章目录1. 什么是消息队列2. 消息队列的消费模式3. 为什么需要消息队列4. 什么是Kafka5. kafka 架构1. 什么是消息队列一般来说，消息队列是一种异步的服务间通信方式，是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。使用较多的消息队列有RocketMQ、RabbitMQ、Kafka等。2. 消息队列的消费模式消息队列内部实现原理：通过消息队列内部实现原理，我们观察到消息队列的模式有：点对点模式和发布/订阅模式。

2021-03-02 10:45:36 209

原创 Kafka 实战指南——Kafka 集群部署

文章目录1. 环境准备1.1 集群规划1.2 安装包下载2. Kafka 集群部署3. Kafka 命令行操作1. 环境准备1.1 集群规划hadoop102hadoop102hadoop102zkzkzkkafkakafkakafka1.2 安装包下载http://kafka.apache.org/downloads.html2. Kafka 集群部署解压安装包[dwjf321@hadoop102 software]$ tar -zxvf kaf

2021-03-02 10:42:55 132

原创大数据技术之 Sqoop

文章目录1. Sqoop 简介2. Sqoop 原理3. Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝JDBC驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功连接数据库4. Sqoop 的简单实用案例4.1 导入数据4.1.1 RDBMS 到 HDFS4.1.1.1 导入数据4.1.2 RDBMS 到Hive4.1.3 RDBMS 到Hbase4.2 导出数据4.2.1 HIVE/HDFS 到 RDBMS4.3 脚本打包5. Sqoop 一些常用命令及参数5.1 常用

2021-01-16 23:16:25 4028

原创 Hive 从 0 到 1 学习 —— 第十章 Hive 企业级调优

文章目录1. Fetch抓取2. 本地模式3. 表的优化3.1 小表、大表Join3.2 大表Join大表3.2.1 空KEY过滤3.2.2 空 key 转换3.3 MapJoin3.3.1 开启MapJoin参数设置3.3.2 MapJoin 工作机制3.3.3 案例实操3.4 Group By3.5 Count(Distinct) 去重统计3.6 笛卡尔积3.7 行列过滤3.8 动态分区调整3.8.1 开启动态分区参数设置3.8.2 案例实操3.9 分桶3.10 分区4. 数据倾斜4.1 合理设置 Ma

2021-01-16 23:15:19 2094

原创 Hive 从 0 到 1 学习 —— 第八章 Hive 查询函数

文章目录1. 系统内置函数2. 常用函数2.1 指标函数2.2 collect_set 函数2.3 日期处理函数2.4 字符串连接函数2.5 json 解析函数3. 其他常用查询函数3.1 空字段赋值3.2 CASE WHEN3.3 行转列3.4 列转行3.5 窗口函数3.6 Rank4. 自定义函数5. 自定义 UDF 函数6. 自定义 UDTF 函数6.1 自定义 UDTF 步骤6.2 具体实现1. 系统内置函数查看系统自带的函数hive> show functions;显示自带

2021-01-16 23:13:00 1832

最新版本的jQuery

空空如也