- 博客(18)
- 收藏
- 关注
RSS订阅原创 ElasticSearch学习(三)：Elasticsearch 分布式与调优
目录1. Elasticsearch之分布式特性介绍1. 分布式介绍及cerebro2. 构建集群3. 副本与分片4. 两个问题5. 集群状态6. 故障转移7.文档分布式存储8. 脑裂问题9. shard详解2. Elasticsearch 篇之集群调优建议1. 生产环境部署建议2. 写性能优化3. 读性能优化4. 如何设定shard数5. xpack监控功能介绍最后1. Elasticsearch之分布式特性介绍1. 分布式介绍及cerebroes支持集群模式，是一个分布式系统，其好处主要有两个：
2020-05-30 11:41:05
500
原创 ElasticSearch学习(二)：Elasticsearch 查询和聚合
目录1. Elasticsearch之Search API介绍1. SearchAPI概览2. URI Search详解与演示3. Query DSL简介4. 字段类查询简介及match-query5. 相关性算分6. match-phrase-query7. query-string-query8. simple-query-string-query9. term-terms-query10. range-query11. 复合查询介绍及ConstantScore12. bool-query13. cou
2020-05-30 11:32:33
975
原创 ElasticSearch学习(一)：Elasticsearch 基本知识
目录1. Elasticsearch之入门1. 术语介绍2. Document介绍3. Index介绍4. restapi介绍5. index_api6. document_api2. Elasticsearch之倒排索引与分词1. 书的目录与索引2. 正排与倒排索引简介3. 倒排索引详解4. 分词介绍5. analyze_api6. 自带分词器7. 中文分词8. 自定义分词之Character Filter9. 自定义分词之Tokenizer10. 自定义分词之Token Filter11. 自定义分词1
2020-05-29 23:09:52
603
原创 Redis学习(四)：Redis 集群
目录1. Redis Cluster1. 呼唤集群2. 数据分布3. 搭建集群4. Redis Cluster安装配置2. 深入Redis Cluster1. 集群伸缩2. 客户端路由3. 多节点命令实现4. 批量操作怎么实现5. 故障转移6. Redis Cluster开发运维常见问题7. 集群总结最后1. Redis Cluster1. 呼唤集群1. 并发量10万/每秒 -> 业务需要100万/每秒呢？2. 数据量机器内存：16~256G -> 业务需要500G呢？3.
2020-05-23 10:27:43
683
原创 Redis学习(三)：Redis 复制的原理与优化及 Reids Sentinel实现高可用
目录1. 主从复制1. 主从复制的作用2. 主从复制配置3. 实验4. 全量复制和部分复制5. 开发与运维中的问题2. Redis Sentinel1. 主从复制高可用？2. Redis Sentinel架构3. 安装与配置3. Sentinel客户端及故障转移1. 客户端实现基本原理2. 故障转移演练3. 三个定时任务4. 主观下线和客观下线5. 领导者选举6. 故障转移7. 常见的开发运维问题8. 回顾总结最后1. 主从复制1. 主从复制的作用数据副本扩展读性能一个master可以有多个sl
2020-05-22 22:55:29
452
原创 Redis学习(二)：Redis 持久化
目录1. Redis持久化的取舍和选择1. 什么是持久化2. 持久化方式2. RDB1. 什么是RDB2. 触发机制 - 主要三种方式3. 触发机制 - 不容忽略方式4. 试验5. 总结3. AOF1. RDB有什么问题2. AOF运行原理，创建3. AOF的三种策略4. AOF重写5. AOF重写实现的两种方式6. AOF配置7. RDB和AOF的抉择4. 开发运维常见问题1. fork操作2. 子进程开销和优化3. AOF追加阻塞最后1. Redis持久化的取舍和选择1. 什么是持久化redis
2020-05-22 22:40:18
258
原创 Redis学习(一)：Redis 入门
目录1. Redis初识1. Redis是什么2. Redis特性3. Redis特性-速度快4. Redis特性-持久化(断电不丢数据)5. Redis特性-多种数据结构6. Redis特性-功能丰富7. Redis典型使用场景8. Redis安装，启动9. Redis常用配置10. 使用配置文件启动2. API的理解和使用1. 通用命令2. 数据结构和内部编码3. 单线程4. 字符串5. 哈希6. 列表7. 集合8. 有序集合3. Redis客户端1. Java客户端：Jedis4. Redis的一些其
2020-05-22 22:23:28
348
转载 分布式一致性协议
目录1. 分布式锁1. 数据库的唯一索引2. Zookeeper 的有序节点2. 分布式事务1. 2PC2. 3PC3. 本地消息表3. CAP1. 一致性2. 可用性3. 分区容忍性4. 权衡4. BASE1. 基本可用2. 软状态.3 最终一致性5. Paxos1. 执行过程2. Accept 阶段3. Learn 阶段4. 约束条件6. ZAB 协议 & Paxos算法1. ZAB 协议两种基本的模式：崩溃恢复和消息广播7. Raft1. 单个 Candidate 的竞选2. 多个 Cand
2020-05-16 23:18:49
922
原创 Hadoop MapReduce & Yarn 详解
目录1. MapReduce1. MapReduce概述2. 编程模型3. 案例2. YARN1. YARN简介2. YARN原理3. YARN工作机制最后1. MapReduce1. MapReduce概述Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据。概念面向批处理的分布式计算框架一种编程模型：MapReduce程序被分为Map(映射)阶段和Reduce(化简)阶段核心思想分而治之
2020-05-16 22:56:52
613
原创 深入浅出分布式文件系统 HDFS
目录1. HDFS简介1. 概念2. 设计目标3. 优点4. 缺点2. HDFS原理1. HDFS 架构2. 文件系统命名空间3. 数据复制4. 数据复制的实现原理5. 副本的选择6. 架构的稳定性7. HDFS特点3. HDFS存储原理1. HDFS写数据原理2. HDFS读数据原理3. HDFS故障类型和其检测方法最后1. HDFS简介1. 概念Hadoop分布式文件系统(Hadoop Distributed File System)2003年10月Google发表了GFS(Google Fi
2020-05-16 17:47:50
434
转载 Kafka 高性能系统设计
目录1. Kafka 存储在文件系统上2. Kafka 中的底层存储设计3. 生产者设计概要4. 消费者设计概要1. 消费者与消费组2. 消费组与分区重平衡3. Partition 与消费模型4. 为什么 Kafka 是 pull 模型5. Kafka 高性能吞吐1. Broker2. Partition3. Producer4. Consumer参考资料最后1. Kafka 存储在文件系统上是的，您首先应该知道 Kafka 的消息是存在于文件系统之上的。Kafka 高度依赖文件系统来存储和缓存消息。
2020-05-16 11:16:48
335
转载 深入浅出 Kafka 基本概念
目录1. Kafka 简介1. 简介2. 基本概念2. Kafka 生产者1. 分区策略2. 数据可靠性保证3. 3. Exactly Once 语义3. Kafka 消费者1. 消费方式2. 分区分配策略3. offset 的维护4. 深入理解 Kafka 副本机制1. Kafka集群2. 副本机制3. 数据请求最后1. Kafka 简介1. 简介Apache Kafka 是一个分布式的流处理平台。它具有以下特点：支持消息的发布和订阅，类似于 RabbtMQ、ActiveMQ 等消息队列支持
2020-05-16 11:07:20
309
原创 Flink学习(一)：Flink基本使用
目录1. 初识Flink1. Flink概述2. Flink Layered API2. 快速上手开发第一个Flink应用程序1. 开发环境准备2. 使用Flink开发一个批处理应用程序3. 使用Flink开发一个实时处理应用程序3. Flink编程模型及核心概念1. DataSet & DataStream2. Flink编程模型3. 系统架构4. DataSet 基本API使用1. D...
2020-05-05 11:58:00
4235
原创 Zookeeper源码学习(四)：请求处理和数据与存储
目录1. 请求处理1. 会话创建请求2. SetData请求3. 事务请求转发4. GetData请求2. 数据与存储1. 内存数据2. 事务日志3. snapshot-数据快照4. 初始化5. 数据同步最后1. 请求处理1. 会话创建请求Zookeeper服务端对于会话创建的处理，大体可以分为请求接收，会话创建，预处理，事务处理，事务应用和会话响应6大环节。请求接收I/O层接收来...
2020-05-04 09:54:50
476
原创 Zookeeper源码学习(三)：Leader选举和各服务器角色介绍
目录1. Leader选举1. Leader选举概述2. Leader选举的算法分析3. Leader选举的实现细节2. 各服务器角色介绍1. Leader2. Follower3. Observer4. 集群间消息通信最后1. Leader选举1. Leader选举概述服务器启动时期的Leader选举每个Server发出一个投票。由于是初始情况，Server1和Server2都会将自己...
2020-05-04 09:12:13
266
原创 Zookeeper源码学习(二)：客户端，会话和服务器启动
目录1. 客户端1. 一次会话的创建过程2. 服务器地址列表3. ClientCnxn：网络I/O2. 会话1. 会话状态2. 会话创建3. 会话管理4. 会话清理5. 重连3. 服务器启动1. 单机版服务器启动2. 集群版服务器启动最后1. 客户端Zookeeper：客户端的入口。ClientWatchManager：客户端watcher管理器。HostProvider：客户端地址列表...
2020-05-03 20:11:01
606
原创 Zookeeper源码学习(一)：系统模型，序列化与协议
假期闲来无事，记录下前段时间阅读 Zookeeper 源码的一些笔记，主要参考了《从Paxos到Zookeeper》这本书和一些博客，从高层看了一些代码，详细阅读以后有时间会继续学习总结。1. 系统模型1. 数据模型Znode是Zookeeper中数据的最小单元。ZK的数据结构模型是基于ZNode的树状模型。在ZK内部通过类似内存数据库的方式保存了整棵树的内容，并定时写入磁盘。ZK的内...
2020-05-03 17:24:12
271
原创 我的春招实习总结：已拿字节，快手，美团Offer
前言从二月初开始投简历，到现在字节入职一周，也两个多月了，想抽空记录一下最近的一些经历。1. 心得体会牛客网别人的帖子：写给20届毕业生的求职指南给正在备战春招/暑期实习的同学一些小建议找实习不外乎笔试和面试，笔试没什么好说的，就是刷LeetCode和牛客网各公司往年的题，面试的话最好系统的复习基础知识，面经是用来查漏补缺，不适合打基础，每次面试最好能够记录下面试官的问题，方便后续...
2020-04-25 13:14:52
1785
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人