CainGao

CDC (Change Data Capture)Flink在1.11版本中新增了CDC的特性，简称 改变数据捕获。名称来看有点乱，我们先从之前的数据架构来看CDC的内容。以上是之前的mysql binlog日志处理流程,例如canal监听binlog把日志写入到kafka中。而Apache Flink实时消费Kakfa的数据实现mysql数据的同步或其他内容等。拆分来说整体上可以分为以下几个阶段。 mysql开启binlog canal同步binlog数据写入到kafka

大概有半个月没有进行更新了，确实也在纠结一些SpringCloudAlibaba的使用场景问题。同时基于当前的业务与人员配置来考虑甚至有点想放弃微服务的方案了。Sentinel的限流降级是必不可少的场景，其实也是基于当前的业务考虑是否需要Sentinel。以上的考虑核心问题就是人员配置的问题，当前我们负责该项目的人员较少，资源较少。所以才有所感但是最终肯定是需要Sentinel的场景的，还是直接一步到位吧Setinel的基本概念与使用场景Setinel的介绍为「一个高可用的流量控制与防护组件」

我在工作中很少遇到所谓的‘奇怪的问题’。所以对于‘奇怪的问题’我还是很期盼的，可能很早的时候就被某些XX开发规范给限制住了，也就很少遇到这些所谓的奇怪的问题。所以严格来说 XXX开发规范 还是很靠谱的。事件起源好了来说具体场景，被同事叫去看一个奇怪的SQL。SQL语句很简单，大概就是查询某些字段有一些查询条件而已。 其中比较重要的一个条件就是 「where xx!=0」。说是很奇怪，为什么！=0就查询到的结果就是10条。但是！=1 查询出来的结果就是100条。SELECTA,B,CFROM..

SpringCloud与Dubbo两个框架一直以来都被用来作为两种框架进行比较，其实对于两者之间进行比较是不公平的。SpringCloud可以说是一套完整的解决方案而Dubbo其实只是一种RPC和服务治理的实现方案。Dubbo一直以来在国内有较多的使用，虽然阿里中间有一段时间没有进行维护，但是受众群体还是比较多的。同时在阿里不再维护的那段时期也由当当维护的DubboX推出。但是Dubbo的相关周边组件也依然不是那么的完善。SpringCloud与Dubbo的整合方案不是那么的完善，相对来说整合的都比

前一篇已经写到了利用Nacos作为配置中心来构建一个项目，毕竟需求有很大一部分的比重就是配置中心。所以就先利用Nacos构建了基于配置中心的项目。Nacos作为注册中心是更加常用的。下面创建项目注册到Nacos中。服务提供者创建一个项目作为服务的提供者 nacos-discovery-http-provider maven引入相关依赖 <dependencies> <dependency> <groupId>com.alibaba.

之前提到了这次从php技术栈迁移到java技术栈要解决的一个问题就是集中化配置管理。我们为什么会有配置中心的需求?配置管理变更较为方便 合理控制配置的权限内容Nacos 控制台增加配置文件进入Nacos管理界面,在【配置管理】-【配置列表】功能页面点击右上角的 + 号。 进入 新建配置 页面，填写要新增的配置内容 WARN:Data ID的默认扩展名为properties,如果需要使用yaml格式则需要指明是.yaml 发布配置 配置完成后点击发布,即可在配置列表中看到刚才新增的配置.

SpringCloud alibaba在之前已经进行了大概的介绍,在微服务环境下对于大量存在的服务管理等肯定需要一个统一的服务注册中心，同时也由于之前提到的集中式配置中心的需求。那么在SpringCloud alibaba中最优的选择就是Nacos。什么是Nacos?Nacos用于服务的注册发现与服务的配置管理。Nacos提供了简单易用的Web Console。可以帮助开发者快速的实现服务发现、服务配置管理、服务元数据等需求。它类似于Dubbo的zookeeper注册中心、SpringCloud

前一篇提到了我们为什么要替换PHP语言采用Java语言。而Java语言的框架选型上来说有太多的选择，常见的有Dubbo，SpringCloud等。我们选择了SpringCloudAlibaba。替换PHP语言到SpringCloudAlibaba是个大工程，主要是业务迁移部分。讨论之初我也确认过是否迁移原有的业务，得到的明确答复是迁移。 那么这么来说也就简单了，复杂的就是工期问题了。Spri...

近期手头上的工作差不多完成了，可能作为数据开发来说最近的数据已足以支撑当前业务所以没有较多的工作安排。所以突然收到一个任务，php转Java。别误会，不是说我的开发语言，是企业的开发语言要从php转到Java。而企业内主要语言是Java的有我跟另外以为老哥，而我近期的工作基本完成，这个伟大的任务就落到了我的头上。脱胎换骨的升级-更换开发语言可能有人见过这句话,这句话是<阿里技术这十年...

“无界数据于有界数据是一个比较于模糊的概念，无界与有界之间是可以进行转换的。无界数据流在进行某些计算的时候例如每分钟、每小时、每天等操作时都可以看做是有界数据集。Apache Flink使用Windows方式实现了对于无界数据集到有界数据集的计算。”Apache Flink Window 概述Windows是流式计算中最常用的计算方式之一，通过固定的时长（分钟，小时...

“Apache Flink中提供了基于时间的窗口计算，例如计算五分钟内的用户数量或每一分钟计算之前五分钟的服务器异常日志占比等。因此Apache Flink在流处理中提供了不同时间的支持。” 处理时间(Processing Time)处理时间是执行相应的操作时的系统时间。一般来说就是Apache Flink在执行某条数据的计算的时刻的系统时间。处理时间是...

Flink是由Scala进行编写的一种大数据计算引擎,而Scala由是执行与JVM之上的一种语言，所以Scala语言也会编译为字节码文件进行执行。那么使用maven同时管理Scala与Java的代码是否可行?主要是因为作者在使用IDEA，maven做Flink开发的时候出现的问题。Flink作业在提交到生产环境集群的时候不要把Flink相关源码等打入jar包中，因为这样可能会出现当生产...

“前一篇文章中<一文了解Flink数据-有界数据与无界数据>大致讲解了Apache Flink数据的形态问题。Apache Flink实现分布式集合数据集转换、抽取、分组、统计等。根据数据源的类型，即为有界数据与无界数据，提供了DataSet与DataStream的基础API。”DataSet与DataStream根据数据源的类型，即为有界数据与无界数据。Apa...

今天互联网圈子最火的一件事就是‘微盟被恶意删库’...微盟公告当然，该类事件在圈子内屡见不鲜，只是36小时恢复期比较长了...运维人员恶意删除核心数据这种操作确实是有可能发生，但是在正常情况下又不应该发生。当然由于管理的不规范、权限的控制等问题依然可能造成某些人员恶意或非恶意的制造出‘删库跑路’事件。下面盘点一下在我身边发生过的‘删库跑路’事件：核心研发 应用服务器 4小时...

在常规的数据处理中，我们最常访问的可能是来自于Mysql，文本等存储介质中的数据，对其进行计算分析。但是现在也越来越的出现流式计算的场景，对于某些时刻产生的数据能够进行实时性的分析。例如天猫双十一实时大屏，实时异常行为检测等。有界数据集有界数据集对开发者来说都很熟悉，在常规的处理中我们都会从Mysql，文本等获取数据进行计算分析。我们在处理此类数据时，特点就是数据是静止不动的。也就...

MR，Spark，Flink自开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。所有的语言开篇章都是Hello Word，数据处理引擎也有Hello Word。那就是Word Count。单机安装Flink开始Flink之前先在本机尝试安装一下Flink，当然FLink正常情况下是部署的部署方式。作者比较穷，机器配置太低开不了几...

Apache Flink这么火,我们学完了可以用来做什么?Apache Flink是近几年大火的数据处理引擎。受到各大厂商的推崇并且已经应用与实际的业务场景中。很多公司在进行选型的时候都会选择Apache Flink作为选型的对象。那么Apache Flink对于企业来说能够做什么？在实际的生产过程中有大量的数据实时性分析需求，例如实时推荐，异常告警，传感器信令分析等需求。随着技术的...