2019年04月_DK_ing

原创 Kafka-深入

关于Topic和PartitionTopic在kafka中，topic是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到kafka集群的消息都有一个类别。物理上来说，不同的topic的消息是分开存储的，每个topic可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。Partition每个topic可以划分多个分区（每个Topic至少有一个分区），同...

2019-04-19 20:19:04 198

原创 Kafka-初识

Kafka的简介什么是KafkaKafka是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由LinkedIn公司开发，使用Scala语言编写，之后称为Apache基金会一个顶级项目。kafka提供了类似JMS（Java Message Service）的特性，但是在设计和实现上是完全不同的，而且他也不是JMS规范的实现。Kafka产生背景...

2019-04-18 22:53:51 375

原创协调服务-Zookeeper实践

数据存储事务日志 zoo.cfg文件中，datadir快照日志运行时日志 bin/zookeeper.out基于Java API 初探zookeeper的使用建立连接的过程public class ConnectionDemo { public static void main(String[] args) { final CountDown...

2019-04-16 23:40:30 238

原创协调服务-Zookeeper深入

zookeeper的由来各个节点的数据一致性怎么保证任务只在一个节点上执行如果orderservice1挂了，其他节点如何发现并接替任务存在共享资源，安全性、互斥性zookeeper的发展史从上面案例可以看出，分布式系统的很多难题，都是由于缺少协调机制造成的。在分布式协调服务这块做的比较好的，由Google的Chubby以及Apache的Zookeeper。Googl...

2019-04-16 22:34:07 1280

原创分布式-协调服务

Zookeeper 协调服务-Zookeeper初识协调服务-Zookeeper深入协调服务-Zookeeper实践 Zookeeper应用-手搓螺旋丸·RPC

2019-04-16 22:01:24 236 6

原创 MySQL-数据库表设计

第一范式（ 1NF）：字段具有原子性,不可再分。所有关系型数据库系统都满足第一范式）数据库表中的字段都是单一属性的，不可再分；第二范式（ 2NF）：要求实体的属性完全依赖于主键。所谓完全依赖是指不能存在仅依赖主键一部分的属性，如果存在，那么这个属性和主关键字的这一部分应该分离出来形成一个新的实体，新实体与原实体之间是一对多的关系。为实现区分通常需要为表加上一个列，以存储各个实...

2019-04-15 18:16:07 286 1

原创 MySQL-配置优化

mysql服务器参数类型基于参数的作用域：全局参数set global autocommit = ON/OFF;会话参数set session autocommit = ON/OFF;注意：全局参数的设定对于已经存在的会话无法生效会话参数的设定随着会话的销毁而失效全局类的统一配置建议配置在默认配置文件中，否则重启服务会导致配置失效寻找配置文件mysql...

2019-04-15 18:13:41 517 2

原创 MySQL-MVCC原理

MVCC是什么？MVCC：Multiversion concurrency control（多版本并发控制）并发访问（读或写）数据库时，对正在事务内处理的数据做多版本的管理。以达到用来避免写操作的阻塞，从而引发读操作的并发问题。Mysql中MVCC逻辑流程插入删除修改查询案例分析案例一（代码执行顺序：1，2，3，4，2）案例二（代码...

2019-04-15 18:02:59 226

原创 MySQL-锁

理解表锁、行锁锁是用于管理不同事物对共享资源的并发访问表锁与行锁的区别：锁定粒度：表锁 > 行锁加锁效率：表锁 > 行锁冲突概率：表锁 > 行锁并发性能：表锁 < 行锁InnoDB存储引擎支持行锁和表锁（另类的行锁）Mysql InnoDB锁类型共享锁（行锁）：shared locks 排它锁（行锁）：exclusive locks 意...

2019-04-15 17:26:26 323

原创 MySQL-事务

什么是事务事务：数据库操作的最小工作单元，是作为单个逻辑工作单元执行的一系列操作；事务时一组不可再分割的操作集合（工作逻辑元）典型事务场景（转账）：update user_account set balance = balance - 1000 where userID = 3;update user_account set balance = balance + 1000 whe...

2019-04-15 16:25:50 179

原创 MySQL-查询优化详解

首先了解查询执行的路径mysql客户端/服务端通信，查询缓存，查询优化处理，查询执行引擎，返回客户端Mysql客户端/服务端通信Mysql 客户端与服务端的通信方式是 “ 半双工 ” ；半双工：双向通信，同时只能接收或者发送，无法同时操作特点和限制：客户端一旦开始发送消息，另一端要接受完，整个消息才能相应。客户端一旦开始接收数据没法停下来发送指令。查询状态对于一个...

2019-04-15 15:51:02 233

原创 MySQL-各大存储引擎介绍

Mysql的存储引擎mysql的存储引擎是插拔式的存储引擎，存储引擎是指定再表之上，即一个库中的每一个表都可以指定专用的存储引擎，不管表采用什么样的存储引擎，都会再数据区，产生对应的frm文件（表结构定义描述文件）CSV存储引擎特点：不能定义没有索引，列定义必须为NOT NULL，不能设置自增列不适用大表或者数据的在线处理 CSV数据的存储用','隔开，可以直接编译CSV...

2019-04-15 13:51:09 165

原创 MySQL

MySQL-索引数据结构B+TreeMySQL-各大存储引擎介绍MySQL-查询优化详解MySQL-事务MySQL-锁MySQL-MVCC原理MySQL-配置优化MySQL-数据库表设计

2019-04-15 13:30:15 197

原创 MySQL-索引数据结构B+Tree

首先我们先来看一下Mysql的体系结构Mysql为什么要用B+Tree数据结构的索引索引是什么？索引是为了加速对表中数据行的检索而创建的一种分散存储的数据结构。索引是将数据与磁盘位置建立关联关系为什么要用索引？索引能极大的减少存储引擎需要扫描的数据量索引可以把随机IO变成顺序IO 索引可以帮助我们再进行分组、排序等操作时，避免使用临时表为什么选择B+Tree...

2019-04-15 01:50:03 338

原创协调服务-Zookeeper初识

从架构发展说起以电商架构为例，早期我们是单一的应用架构，随着互联网的快速发展和体量的不断增长，后端的架构通过垂直伸缩的方式很难达到我们期望的性能要求，同时投入产出比也非常大，同时普通PC的性能也越来越高，所以通过水平伸缩的方式来提升性能成为了主流。在分布式架构下，当服务越来越多，规模越来越大时，对应的机器数量也越来越大，单靠人工来管理和维护服务及地址的配置会越来越困难，单点故障的问题也开始...

2019-04-09 15:28:49 319

DK_ing的博客