resemble的博客

欢迎转载,转载请注明出处

Flink乱序处理之allowedLateness使用

1、简介 Flink中借助watermark以及window和trigger来处理基于event time的乱序问题,那么如何处理“late element”呢? 也许有人会问,out-of-order element与late element有什么区别?不都是一回事么? 答案是一回事,都是为了处...

2019-07-09 13:10:29

阅读数 5

评论数 0

Flink基于EventTime和WaterMark处理乱序事件和晚到的数据

在实际的业务中,我们经常会遇到数据迟到的情况,这个时候基于窗口进行计算的结果就不对了,Flink中watermark就是为了解决这个问题的,理解watermark之前,先来说一下flink中的三个与流数据相关的概念,ProcessTime、EventTime、IngestionTime,不然很难理...

2019-07-09 12:59:58

阅读数 8

评论数 0

左耳朵耗子 | 程序员如何用技术变现?

导读:从事编程这个事可以做到,完全靠自己的手艺、不依赖任何人或公司去生活的。但道理我都懂,怎么做才是关键。本文摘自陈皓(左耳朵耗子)在极客时间 App 开设的付费专栏“左耳听风”。 正文 1 写在前面   程序员用自己的技术变现,其实是一件天经地义的事儿。写程序是一门“手艺活儿”,那么...

2019-06-19 21:03:31

阅读数 84

评论数 0

事务提交都做了哪些事?(Commit Transactions)

提交一个事务意味着将此事务中的SQL语句对数据的修改永久的记录到数据库中。 在一个修改了数据的事务被提交之前,Oracle进行了以下操作: a Oracle生成了undoinformation,undo information 包含了事务中各个SQL语句所修改的数据的原始值。 b Oracl...

2019-05-10 20:25:29

阅读数 25

评论数 0

mysql数据精度丢失问题

不要盲目的说float和double精度可能发生丢失,而是说在存取时因为精度不一致会发生丢失,当然这里的丢失指的是扩展或者截断了,丢失了原有的精度。decimal是好,但不是说不会发生任何精度丢失。如果问题看得不深入,总会以偏概全。 我们知道,mysql存储小数可以使用float、double...

2019-05-08 17:30:47

阅读数 100

评论数 0

数据库锁表

数据库锁 先看一张图自己整理的数据库锁的树形图 概要 数据库锁一般可以分为两类,一个是悲观锁,一个是乐观锁。 乐观锁一般是指用户自己实现的一种锁机制,假设认为数据一般情况下不会造成冲突,所以在数据进行提交更新的时候,才会正式对数据的冲突与否进行检测,如果发现冲突了,则让返回用户错误的信息,让用户...

2019-05-04 21:28:50

阅读数 48

评论数 0

linux服务器的物理CPU,CPU核数,逻辑CPU及Hadoop的Vcore

https://blog.csdn.net/weixin_34320724/article/details/87413609

2019-04-24 09:55:05

阅读数 44

评论数 0

Elasticsearch:Scroll深度分页及返回大量数据

目录 方法一设置size 方法二fromand size分页 方法三scrollandscan滚屏。 在使用ES时,有时候不可避免的要返回大量的数据或者说返回满足你的查询条件的全部数据,而满足你的条件的数据可能只是上百条也可能是上万条。当需要返回的数据量特别大时怎么办呢? 方法一设置si...

2019-04-12 09:56:50

阅读数 106

评论数 0

Storm UI详解

Storm ui 展示字段说明 Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示: Cluster Summary Version:storm 版...

2019-04-11 20:32:45

阅读数 36

评论数 0

storm ack异或逻辑

ack异或逻辑 spout每发出一条信息,会根据用户指定的message id生成root id(假设为111),用于标记本次数据流;不论bolt还是spout,ack val = (输入tuple id) ^ (所有输出tuple id的异或结果),只不过ack val的输入tuple不存...

2019-03-23 11:51:33

阅读数 41

评论数 0

数学之美--读书笔记

目录 第1章 文字和语言 vs 数字和信息 第2章 从规则到统计 第3章 统计语言模型 第4章 谈谈中文分词 第5章 隐含马尔可夫模型 第6章 信息的度量和作用 第7章 贾里尼克和现代语言处理 第8章 简单之美—布尔代数和搜索引擎的索引 第9章 图论和网络爬虫 第10章 P...

2019-03-17 18:46:40

阅读数 129

评论数 0

一举搞定 Elasticsearch 分词难题

目录 1. 上手 2. 分词 3. 写时分词结果 4. 读时分词结果 5. 解释问题 6. 解决需求 7. 深入分析 8. 自定义分词 初次接触Elasticsearch的同学经常会遇到分词相关的难题,比如如下这些场景: 为什么命名有包含搜索关键词的文档,但结果里面就没有相关文...

2019-03-13 17:59:31

阅读数 33

评论数 0

SQL 查询优化原理与 Volcano Optimizer 介绍

目录 SQL 查询优化的目的 SQL 查询优化的基本原理 SQL 查询优化的基础算法 基于规则的优化算法 基于成本的优化算法 Volcano Optimizer 成本最优假设 动态规划算法与等价集合 自底向上 vs. 自顶向下 广度优先搜索与启发式算法 Trait/Physi...

2019-03-13 16:28:49

阅读数 79

评论数 0

MySQL查询优化:GROUP BY

目录 一、group by group by 优化方法 — 索引 松散索引扫描(Loose Index Scan) 为什么松散索引扫描的效率会很高? 紧凑索引扫描(Tight Index Scan) group by 优化方法 — 直接排序 二、group by 与 distinct...

2019-03-05 19:46:16

阅读数 2672

评论数 2

Druid架构

目录 1.Druid总体架构 1.1整体架构 1.2三条线路 2.实时节点 2.1实时索引原理 2.1.1Ingest阶段 2.2.2Persist阶段 2.2.3 Merge阶段 2.2.4Handoff阶段 3.历史节点 4.协调节点 5.Broker节点 6.I...

2019-03-03 12:03:32

阅读数 139

评论数 0

BigData-‘基于代价优化’究竟是怎么一回事?

CBO基本原理 提到CBO,就不得不提起一位’老熟人’ – 基于规则优化(Rule-Based Optimization,简称RBO)。RBO是一种经验式、启发式的优化思路,优化规则都已经预先定义好,只需要将SQL往这些规则上套就可以(对RBO还不了解的童鞋,可以参考笔者的另一篇文章 – 《从0...

2019-02-24 12:22:37

阅读数 51

评论数 0

Storm之BaseRichbolt和BaseBasicbolt的区别

BaseRichBolt You must – and are able to – manually ack() an incoming tuple. Can be used to delay acking a tuple, e.g. for algorithms that need to wor...

2019-01-30 14:36:21

阅读数 51

评论数 0

内存缓存、磁盘缓存、内存傻傻分不清

内存缓存 高速缓存(英语:cache,英语发音:/kæʃ/ kash [1][2][3],简称缓存),其原始意义是指访问速度比一般随机存取存储器(RAM)快的一种RAM,通常它不像系统主存那样使用DRAM技术,而使用昂贵但较快速的SRAM技术。 原理 Cache一词来源于1967年的一篇电子工程期...

2019-01-26 22:33:25

阅读数 65

评论数 0

storm之tuple详解

Storm中的数据结构类型为Tuple 官方解释: “A tuple is a named of values where each value can be any type.” tuple是一个类似于列表的东西,存储的每个元素叫做field(字段),可以是任何类型。 Storm使用tu...

2019-01-25 20:11:31

阅读数 121

评论数 1

storm核心原理讲解

目录 框架介绍 Storm应用场景总结: Storm体系结构 Storm组件 关系简介 举例说明: 故障容忍 概念 三种消息保证机制 At Most Once语义 At Least Once语义 Exactly Once语义 数据流分组 参考文章 Related Po...

2019-01-25 19:45:51

阅读数 225

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭