weixin_30726161的博客

简介Flink本身为了保证其高可用的特性，以及保证作用的Exactly Once的快速恢复，进而提供了一套强大的Checkpoint机制。Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Ch...

在上一章节中，我们讲到实时数仓的建设，互联网大数据技术发展到今天，各个领域基本已经成熟，有各式各样的解决方案可以供我们选择。在实时数仓建设中，解决方案成熟，消息队列Kafka、Redis、Hbase鲜有敌手，几乎已成垄断之势。而OLAP的选择则制约整个实时数仓的能力。开源盛世的今天，可以供我们选择和使用的OLAP数据库令人眼花缭乱，这章我们选取了几个最常用的OLAP开源数据引擎进行分析...

关注我的公众号，后台回复【JAVAPDF】获取200页面试题！5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？欢迎您关注《大数据成神之路》愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。一切技术最终只是雕虫小技。大纲本系列主题是大数据开发面试指南，旨在为大家提供一个...

前言今年有个现象，实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。但是对于实时数仓的狂热追求大可不必。首先，在技术上几乎没有难点，基于强大的开源中间件实现实时数据仓库的需求已经变得没有那么困难。其次，实时数仓的建设一定是伴随着业务的发展而发展，武断的认为Kappa架构一定是最好的实时数仓架构是不对的。实际情况中随着业务的发展数仓的架构变...

【声明】本文由《大数据技术与架构》读者提供，未经授权不得转载。5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？腾讯关键词【Java基础】【数据结构】【操作系统】 【算法】【数据库】【缓存】自我介绍介绍一下你在项目中的承担的任务你对哪种语言熟悉线程池使用过吧，说说...

声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。在此对三家公司的技术人员无私奉献精神表示感谢，如果文章造成了侵权行为，请联系本人删除。本人在尊重事实的基础上重新组织了语言和内容，旨在给读者揭开一个完善的大数据平台的组成和发展过程。本文在未经本人允许情况下不得转载，否则追究版权责任。By 大数据技术与架构场景描述：希望本文对那...

Flink零基础入门Flink入门Flink DataSet&DataSteam APIFlink集群部署Flink重启策略Flink分布式缓存Flink重启策略Flink中的TimeFlink中的窗口Flink的时间戳和水印Flink广播变量Flink-Kafka-connetorFlink-Table&SQLFlink实战项目-热销排行F...

引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景：Broadcast Hash Join ：适合一张较小的表和一张大表进行joinShuffle Hash Join : 适合一张小表和一张大...

1.redis是用来干嘛的？Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. It supports data structures such as strings, hashes, lists, se...

Hi 這次要來介紹 如何使用 Visual Studio 2019 遠端工具進行 Release 應用程式偵錯首先我們先下載 2019 專用的遠端工具(這裡依照不同的 VisualStudio 版本要下載相對應的版本)下載網址 (這裡我們選x64的版本)安裝的部分十分簡單我們直接選擇安裝即可安裝完成後會發現在程式集多了 Remote Debugger 與 Remote...

文章标题One SQL to Rule Them All – an Efficient and Syntactically Idiomatic Approach to Management of Streams and Tables用SQL统一所有：一种有效的、语法惯用的流和表管理方法syntactically 句法上;语法上;句法;句法性地;句法特征idioma...

mysql常见问题select * from table where id IN (3,6,9,1,2,5,8,7) order by field(id,3,6,9,1,2,5,8,7); MYSQL使用group by时，查询结果的总记录数SELECT COUNT(*) FROM (SELECT COUNT(*) FROM tb_lm_channel_ev...

前一天的日期为：date("Y-m-d",strtotime("-1 days",strtotime('2019-08-31')))前一月的日期为date("Y-m-d",strtotime("-1 months",strtotime('2019-08-31')))前一年的日期为：date("Y-m-d",strtotime("-1 y...

使用list列表# 列表print('list 列表')classmats = ['one', 'two', 'three']print(classmats)# 列表个数len_list = len(classmats)print(len_list)# 获取指定索引的列表值 ，从0开始，-1表示倒数第一个print(classmats[1])p...

修改表的主键ALTER TABLE tb_channel_pv DROP PRIMARY KEY,ADD PRIMARY KEY (`id`,`channel`);测试添加分区和删除分区添加删除range分区#(1)创建一个分区：CREATE TABLE titles ( emp_no INT NOT NULL, ...

使用条件判断 if else# 条件派单 if elseprint('条件派单 if else')# s = input('请输入生日年号：')# birth = int(s)birth = 1991if birth > 2000: print('00后')else: print('00前')使用for循环...

转载自 cglib之Enhancer1. 背景cglib库的Enhancer在Spring AOP中作为一种生成代理的方式被广泛使用。本文针对Enhancer的用法以实际代码为例作一些介绍。2. Enhancer是啥Enhancer是cglib中使用频率很高的一个类，它是一个字节码增强器，可以用来为无接口的类创建代理。它的功能与java自带的Proxy类挺相似的...

/** * jdk 动态代理：基于接口，动态代理类需要再运行时指定所代理对象实现的接口，客户端在调用动态代理对象的方法 * 时，调用请求会将请求自动转发给 InvocationHandler对象的invoke()方法，由invoke()方法来实现 * 对请求的统一处理 * 1.创建一个接口subject * 2.创建一个需要被代理的...

在学习redis之前，我们首先需要了解一下NoSQL(非关系数据库)。非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定。为什么需要NoSQL?　　(1)High performance - 高并发读写　　(2)Huge Storage - 海量数据的高效率存储和访问　　(3)High Scalability &...

　　对于一个软件系统中的某些类而言，只有一个实例是很重要的。单例模式(Singleton)是结构最简单的设计模式，它的核心结构中只包含一个被称为单例类的特殊类。单例模式是一种对象创建型模式。实现单例模式有3个要点：某个类只能有一个实例它必须自行创建这个实例它必须自行向整个系统提供这个实例　　单例模式(Singleton)定义：确保一个类只有一个实例，并提供一个全局...