2019年01月_一铭

12月 11月 08月 07月 06月 05月 04月 03月 02月 01月

原创 bloomfilter的实现原理与使用

bloom filter原理这是一个比较“古老”的算法了，通过一个bit数组作为hash的桶来标识某个元素是否存在过。给出一个item，计算该字符串对应的hash桶中的n的位置，并把该位置的bit位设置为1。可以准确的判断某个item是否存在，但由于一个item可能对应多个bit的位置。所以，当判断某个元素是否不存在时，可能有误差。如下图所示：bloom filter要点不能获取插入...

2019-01-31 13:17:18 1613

原创 flink实战—通过例子学习DataSet API：DataSet转换算子(DataSet Transformations)-1

概述本文讲述各个DataSet 转换算子的使用。并通过实际的例子对其功能进行了说明。说明：本来想通过一篇文章来讲述所有的transformtion算子，但由于篇幅和时间，只能能分成几篇进行介绍。基本概念数据转换(Data transformations)将一个或多个DataSet转换为新的DataSet。程序可以将多个转换组合成复杂的程序集。测试数据集说明假设我们有一个数据集，是鸡尾花...

2019-01-26 10:34:46 1417

原创 flink实战—通过例子学习DataSet API：入门

概述本文介绍如何使用flink的DataSet API，也就是Batch处理的API的使用。这种API是基于有界数据流的假设基础上创建的。基本概念DataSet API是基于有界数据流的操作算子。而Streaming API是基于无界数据流的操作算子。环境说明为了能够更好的进行实际操作，我基于scala的终端和flink的集成环境来介绍这些API的使用，这样能够及时看到算子运算的结果。...

2019-01-23 10:11:29 1084

翻译 flink实战--数据流编程模型(Dataflow Programming Model)

概述本文讲述flink的数据流编程模型，通过本文的讲述可以对flink的编程模型有一个清楚的认识，便于在编写flink程序时，进行选择使用。另外，本文是一篇翻译文章，来自于flink的官方文档。见参考文献。译者注：本文介绍了flink对外提供的不同层次的编程接口，和spark类似，flink对外提供了三种层次的编程接口：core API，Table API，SQL。core API：提供...

2019-01-23 07:22:13 917

原创 flink实战—使用shell终端(local模式)

概述本文讲述如何使用flink的scala-shell终端程序，通过该脚本可以快速上手flink，并可以对简单的flink任务进行调试和测试。类似于spark的shell终端。本文讲述的是本地模式下的使用。启动flink的scala-shellFlink附带了一个集成的交互式Scala Shell。它可以在本地模式和群集模式中使用。要将shell与集成的Flink集群一起使用，只需执行：...

2019-01-21 12:51:36 3740 2

原创 flink实战—安装与使用

概述flink分为三种模式运行：local，cluster，基于cloud的运行。本文描述了flink在local模式下的安装与使用。环境介绍系统Centos-7.0 x64安装下载并安装首先下载并安装java$ java -versionjava version "1.8.0_92"Java(TM) SE Runtime Environment (build 1....

2019-01-20 21:58:51 1635

原创 kafka原理分析—API层实现总体框架分析

概述本文描述了kafka broker API层的实现原理。API层主要用来处理kafka客户端发送过来的请求，或者把请求发送给对应的处理子系统，并把处理结果返回给客户端。也可以查看这篇文章来了解API层的功能。API层的启动和初始化上图是kafka API层的启动和初始化过程，可以看到，API层是通过一个线程池来实现的，该线程池也可以通过修改server.properties文件中的...

2019-01-19 21:50:13 412

原创 kafka原理分析—网络层的实现原理分析

概述本文分析kafka网络层的实现原理。通过这篇文章我们可以对kafka broker的系统架构有一个整体的概念。这篇文章着重介绍kafka网络层的实现原理。网络层功能介绍kafka中网络层的主要功能是：监听客户端的连接请求，和客户端建建立网络连接；和客户端建立连接后，启动处理线程，接收客户端的命令请求；把客户端的请求发送给消息处理子系统；kafka网络层实现原理分析和很多高...

2019-01-18 23:55:12 639

原创 kafka原理分析—broker总体架构和启动流程

概述本文分析了kafka的broker的实现架构，通过本文的分析，我们可以对broker的实现架构的各个部分有一个总体的了解。实现broker的总体架构图下图是broker内部的总体架构图(该图来自于kafka官方的设计文档):从图中可以看出，kafka系统是由若干子系统构成。根据核心的功能模块，可以大体划分成以下几个子系统：客户端连接请求处理服务客户端指令处理服务日志管理子系统...

2019-01-18 13:49:00 1674 3

原创 twemproxy0.4原理分析-批量操作(mset,hset等)的实现原理

概述本文描述twemproxy0.4对批量消息处理命令的实现原理。这些命令例如：mset，mget等。引言当客户端发送的是批处理命令(如：mset,hset等)时，可能出现同一条命令的多个key分别发送到多个后端服务器的情况。例如如下命令：mget key1 key2 key3假如后端的redis集群有两台redis服务器，则可能出现以下key分配情况：key1 => re...

2019-01-05 15:50:26 892

原创 twemproxy0.4原理分析-消息处理过程原理分析

概述本文讲述了twemproxy0.4的消息处理流程。通过本文可以了解到twemproxy0.4的消息处理全流程。流程总体描述作为一个代理服务器twemproxy0.4，首先要接收来自client的了解，和client端建立好连接；然后，需要后后端的服务器建立连接，并把从client端接收到的连接发送给后端服务器，然后把服务器端的返回信息通过和client的连接发送给client。最后完成整...

2019-01-05 12:08:54 627