2018年05月_OkidoGreen

转载如何合理地估算线程池大小？

http://ifeve.com/how-to-calculate-threadpool-size/如何合理地估算线程池大小？这个问题虽然看起来很小，却并不那么容易回答。大家如果有更好的方法欢迎赐教，先来一个天真的估算方法：假设要求一个系统的TPS（Transaction Per Second或者Task Per Second）至少为20，然后假设每个Transaction由一个线程...

2018-05-31 11:32:24 851

https://www.cnblogs.com/shamo89/p/7055039.html在学习Java 多线程并发开发过程中，了解到DelayQueue类的主要作用：是一个无界的BlockingQueue，用于放置实现了Delayed接口的对象，其中的对象只能在其到期时才能从队列中取走。这种队列是有序的，即队头对象的延迟到期时间最长。注意：不能将null元素放置到这种队列中。Delayed，一...

2018-05-31 10:56:05 896

转载 DelayQueue的原理和使用浅谈

https://www.cnblogs.com/wxgblogs/p/5464867.html　在谈到DelayQueue的使用和原理的时候，我们首先介绍一下DelayQueue，DelayQueue是一个无界阻塞队列，只有在延迟期满时才能从中提取元素。该队列的头部是延迟期满后保存时间最长的Delayed 元素。　　DelayQueue阻塞队列在我们系统开发中也常常会用到，例如：缓存系统的设计，缓...

2018-05-31 10:51:54 3353

转载线程池ThreadPoolExecutor及常见的4种

https://blog.csdn.net/qq_23391049/article/details/80373511为什么用线程池创建/销毁线程伴随着系统开销，过于频繁的创建/销毁线程，会很大程度上影响处理效率例如：记创建线程消耗时间T1，执行任务消耗时间T2，销毁线程消耗时间T3 如果T1+T3>T2，那么是不是说开启一个线程来执行这个任务太不划算了！...

2018-05-31 10:44:14 3545

转载 Nodejs 截图组件&npm包

下面都是转的，自己试了一下可以保存图片npm install webshotvar webshot = require('webshot'); webshot('baidu.com', 'google.png', function(err) { // screenshot now saved to google.png }); 写文章的时候经常需要插入图片，插入现有的图片很简单，有时候制作一...

2018-05-18 21:59:04 3695

转载 SpringBean生命周期详解

https://blog.csdn.net/lisongjia123/article/details/52091013在Spring中Bean可谓是一个核心的元素，当我们结合Spring进行编程的时候也离不开Bean，面对这样重要的一个角色，了解其生命周期和该生命周期所涉及的环节对我们更加熟练灵活地使用Bean是很有Bean必要的，下面我们就来详细分析下Bean的生命周期吧。生命周期流程图 ...

2018-05-17 18:49:20 5602

转载 java8多线程异步调用 CompletableFuture 详解

https://blog.csdn.net/mrxiky/article/details/78962614CompletableFuture 详解CompletableFuture类实现了CompletionStage和Future接口。Future是Java 5添加的类，用来描述一个异步计算的结果，但是获取一个结果时方法较少,要么通过轮询isDone，确认完成后，调用get(...

2018-05-17 18:47:09 3025

转载 Kafka设计解析（七）- Kafka Stream

http://www.jasongj.com/kafka/kafka_stream/本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中的关键问题，如时...

2018-05-16 19:15:33 2293

转载 Kafka设计解析（八）- Exactly Once语义与事务机制原理

http://www.jasongj.com/kafka/transaction/本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理，并介绍了Kafka如何处理事务相关的异常情况，如Transaction Coordinator宕机。最后介绍了Kafka的事务机制与PostgreSQL的MVCC以及Zookeeper的原子广播实现事务的异...

2018-05-16 19:15:28 1492

转载 Kafka设计解析（六）- Kafka高性能架构之道

本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用。原创文章，转载请务必将下面这段话置于文章开头处。本文转发自技术世界，原文链接　http://www.ja...

2018-05-15 17:44:26 699

转载 kafka使用high api如何确保不丢失消息，不重复发送，消息只读取一次？

https://www.zhihu.com/question/34842764/answer/138125661kafka使用high api如何确保不丢失消息，不重复发送，消息只读取一次？虽然low api可以通过offset来实现，但是感觉好麻烦作者：雨夜偷牛的人链接：https://www.zhihu.com/question/34842764/answer/138125661来源：知乎著作...

2018-05-15 17:22:58 1291

转载 kafka原理和实践（一）原理：10分钟入门

http://www.cnblogs.com/dennyzhangdd/p/7759869.html目录一、kafka拓扑图二、名词解释三、生产模型四、消费模型正文系列目录kafka原理和实践（一）原理：10分钟入门kafka原理和实践（二）spring-kafka简单实践kafka原理和实践（三）spring-kafka生产者源码kafka原理和实践（四）spring-kafka消费者源码ka...

2018-05-15 17:16:38 2871

转载 kafka学习笔记：知识点整理

https://blog.csdn.net/qq_24084925/article/details/78842844一、为什么需要消息系统kafka学习网址：http://orchome.com/kafka/index1.解耦：　　允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：　　消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险...

2018-05-15 16:46:53 662

转载 Zero Copy

原文出处: http://www.ibm.com/developerworks/library/j-zerocopy/ 传统的I/O使用传统的I/O程序读取文件内容, 并写入到另一个文件(或Socket), 如下程序:File.read(fileDesc, buf, len);Socket.send(socket, buf, len);会有较大的性能开销, 主要表现在一下两方面:1. 上下文切换...

2018-05-15 16:12:44 745

转载为什么Kafka那么快

网上有很多Kafka的测试文章，测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章，我会重点解释——为什么真快。（当然不是因为它用了Scala！！！！）生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。...

2018-05-15 15:30:49 27762 3

转载 Kafka Broker配置（0.10版）

官网：http://kafka.apache.org/documentation.html名称描述类型默认值有效值区间重要程度 zookeeper.connect zk地址 string 高 advertised.host.name 过时的：只有当advertised.listeners或listene...

2018-05-15 15:23:48 677

转载 Kafka全解析

https://blog.csdn.net/vinfly_li/article/details/79397201一. ConceptsKafka is used for building real-time data pipelines and streaming apps分布式消息传递网站活跃数据跟踪日志聚合流式数据处理数据存储事件源……Kafka terminology 术语1.TopicsK...

2018-05-15 15:10:52 668

转载 Kafka副本【ISR】同步机制理解

https://blog.csdn.net/qq_36142114/article/details/80314947Apache Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。Apache Kafka特性之一是它的复制协议。对于单个集群中每个Broker不同工作负载情况下，如何自动调优Kafka副本的工作方式是比较有挑战的。它的...

2018-05-15 15:06:29 1340

转载 Kafka设计解析（一）- Kafka背景及架构介绍

本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee。原创文章，转载请务必将下...

2018-05-15 11:25:21 621

转载 SOA和微服务架构的区别？

https://www.zhihu.com/question/37808426

2018-05-14 14:26:48 2089

转载 LeetCode-两数&三数之和系列问题

三数之和LintCode57 三数之和解题思路：先对数组排序，然后开始遍历，对于数组中的每一个元素，用两指针往中间夹，直到找出所有的解。时间复杂度 O(n^2).ps：为什么会想到对数组元素进行排序呢，排序是为了让元素之间呈现出某种规律，处理起来会简单很多。所以，当你觉得一个似乎无从下手的问题的时候，不妨尝试去寻找或制造一种“规律”，排序是手段之一。 publi...

2018-05-14 12:26:30 1959

转载服务熔断、降级、限流、异步RPC -- HyStrix

https://blog.csdn.net/chunlongyu/article/details/53259014在今天，基于SOA的架构已经大行其道。伴随着架构的SOA化，相关联的服务熔断、降级、限流等思想，也在各种技术讲座中频繁出现。本文将结合Netflix开源的Hystrix框架，对这些思想做一个梳理。背景伴随着业务复杂性的提高，系统的不断拆分，一个面向用户端的API，其内部的RPC调用层层...

2018-05-14 10:33:51 1601

转载 Redis持久化存储(AOF与RDB两种模式)

https://blog.csdn.net/canot/article/details/52886923Redis中数据存储模式有2种：cache-only,persistence;cache-only即只做为“缓存”服务，不持久数据，数据在服务终止后将消失，此模式下也将不存在“数据恢复”的手段，是一种安全性低/效率高/容易扩展的方式；persistence

2018-05-10 13:44:42 633

转载 Redis执行Lua脚本示例

https://www.cnblogs.com/yanghuahui/p/3697996.htmlRedis在2.6推出了脚本功能，允许开发者使用Lua语言编写脚本传到Redis中执行。使用脚本的好处如下:1.减少网络开销：本来5次网络请求的操作，可以用一个请求完成，原先5次请求的逻辑放在redis服务器上完成。使用脚本，减少了网络往返时延。2.原子操作：Redis会将

2018-05-10 13:40:26 1312

转载 js之script属性async与defer

https://www.cnblogs.com/tanhehe/p/4236021.html概念默认情况下js的脚本执行是同步和阻塞的，但是标签有 defer 和 async 属性, 这可以改变脚本的执行方式，这些都是布尔类型了，没有值，只需要出现在标签里即可。如：还要注意一点，html5说这些属性只在和src属性联合使用时

2018-05-09 21:46:06 710

转载 Spring PropertySourcesPlaceholderConfigurer工作原理

https://blog.csdn.net/xczzmn/article/details/77744627前言spring提供配置解析功能，就是这种：<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"&gt...

2018-05-09 12:26:37 6962 1

转载关于配置Spring框架的多个propertyConfigurer的问题

https://blog.csdn.net/aa427/article/details/38375259近来对web架构中的缓存比较感兴趣，所以分别试着在windows环境下配起了redis和memcache，刚开始配了Memcache，跑起项目不存在问题（项目框架是SpringMvc+MyBatis），我的Spring的配置文件目录如下从web项目中启动加载

2018-05-09 11:38:01 2585

转载时间复杂度和空间复杂度

https://blog.csdn.net/zxm490484080/article/details/72210501算法复杂度分为时间复杂度和空间复杂度。其作用：时间复杂度是指执行算法所需要的计算工作量；而空间复杂度是指执行这个算法所需要的内存空间。（算法的复杂性体现在运行该算法时的计算机所需资源的多少上，计算机资源最重要的是时间和空间（即寄存器）资

2018-05-09 09:58:16 716

转载保证MQ消息传递的一致性

https://my.oschina.net/floor/blog/15875371.保证消息传递与一致性1.1生产者确保消息自主性当生产者发送一条消息时，它必须完成他的所有业务操作。如下图：这保证消费者接受到消息时，生产者已处理完毕相关业务，也就是1PC的基础。1.2 MQ保存并转发消息消息标记为持久化，MQ将会利用保存并转发机制，来履行它与发送者之间的契约。至于activemq高可用部分，详见...

2018-05-08 10:29:43 15200 2

转载简单聊聊消息队列的事务补偿机制

https://my.oschina.net/u/1589819/blog/1503241因为一直学习与尝试负责公司的推送相关业务，包括整个应用的实现，其中就采用了基于消息队列的异步事件驱动模型来做解耦异步处理，所以就要去做了解一些相关的知识点，这边稍作总结，并整理一下消息补偿机制的一套简单实现的代码设计图。采用基于消息队列的异步事件驱动模型来解决问题的时候，一个计较棘手的问题就是事务

2018-05-08 10:26:17 14730 2

转载 graphql-spring-boot，结合GraphQL的Spring Boot Starters类库概述

https://blog.csdn.net/taiyangdao/article/details/79998494GraphQL服务器能够提供的API查询请求，往往是通过HTTP实现的。而Spring Boot能够方便地构建一个Web服务，于是自然就引入了Spring Boot使能的GraphQL服务器。graphql-spring-boot是一个Spring Boot

2018-05-02 17:00:39 2068

转载 Java执行外部程序(Apache Commons Exec)

https://blog.csdn.net/accountwcx/article/details/46787603之前使用Runtime.getRuntime().exec调用外部程序，在Tomcat下会有当前线程一直等待的现象。当时为了解决这个问题，使用新建线程接收外部程序的输出信息，详情请看博客http://blog.csdn.net/accountwcx/article/

2018-05-02 10:17:12 1656

z69183787的专栏