- 博客(6)
- 资源 (26)
- 收藏
- 关注
RSS订阅转载 MaxScale：实现MySQL读写分离与负载均衡
1MaxScale 是干什么的？配置好了MySQL的主从复制结构后，我们希望实现读写分离，把读操作分散到从服务器中，并且对多个从服务器能实现负载均衡。读写分离和负载均衡是MySQL集群的基础需求，MaxScale 就可以帮着我们方便的实现这些功能。2MaxScale 的基础构成MaxScale是MySQL的兄弟公司 MariaDB 开发的，现在已经发展得非常成熟。M...
2019-12-13 18:56:51
391
转载 Kafka的分区数和消费者个数
Kafka的分区数是不是越多越好？分区多的优点kafka使用分区将topic的消息打散到多个分区分布保存在不同的broker上，实现了producer和consumer消息处理的高吞吐量。Kafka的producer和consumer都可以多线程地并行操作，而每个线程处理的是一个分区的数据。因此分区实际上是调优Kafka并行度的最小单元。对于producer而言，它实际上是用多个线程并发地...
2019-12-06 23:01:23
5930
1
转载 Hive数据倾斜解决方法总结
数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致出现其他节点的reduce阶段任务执行完成，但是这...
2019-12-06 21:05:49
360
转载 MapReduce的shuffle过程详解（分片、分区、合并、归并。。。）
shuffle过程shuffle概念shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两个部...
2019-12-06 20:13:39
1763
转载 实战Go内存泄露
最近解决了我们项目中的一个内存泄露问题，事实再次证明pprof是一个好工具，但掌握好工具的正确用法，才能发挥好工具的威力，不然就算你手里有屠龙刀，也成不了天下第一，本文就是带你用pprof定位内存泄露问题。关于Go的内存泄露有这么一句话不知道你听过没有：10次内存泄露，有9次是goroutine泄露。我所解决的问题，也是goroutine泄露导致的内存泄露，所以这篇文章主要介绍Go...
2019-12-03 10:03:39
1578
转载 进程、线程；僵尸/孤儿进程
程序是包含可执行代码的文件，是个静态的文件进程是开始执行但是还没有结束的程序的实例，就是可执行文件的实例。是资源分配的基本单位，概念：使程序能并发运行，并且对并发运行的程序加以描述和控制目的：提高资源利用率和系统吞吐量特征：动态性、独立性、异步性、并发性线程系统调度和分派的基本单位定义：是进程的一个实体僵尸进程当前进程运行结束后，其父进程仍在运行或仍未结束并且父进程没有...
2019-12-02 23:32:39
1549
深入理解Java虚拟机：JVM高级特性与最佳实践].周志明.高清扫描版.pdf
2017-01-09
高性能的socket通讯服务器（完成端口模型--IOCP）
2014-06-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人