lihengzkj的博客

本地阿里云脚本python的环境快速搭建Overview一直都在考虑自己写一个脚本来自动创建阿里云的服务器，然后自动登录到该服务器，准备测试要使用的环境。比如经常使用Elasticsearch，Flink的环境，我考虑可以用python写一个自动化的脚本，然后当我选择flink的时候，该脚本就用我的阿里云账号找到阿里云上最便宜的服务器资源，创建好ECS，然后准备好flink的dockers-compose环境，环境只需要几分钟下载的时间就能准备好，全程不需要我自己在网页上创建下单等。下面介绍的是本地的

把自己台式机改成了Centos个人服务器overviewWin10台式机改成服务器Centos最近新入手了一台笔记本，原来放在桌下的台式机就空了起来，想想可以改成服务器，以后测试用或者安装一些linux的软件使用不是不错的，我都打算好了，装一个docker和docker-compose来使用。费了一番手脚把Centos安装好了，结果一看磁盘分区还是原来window系统时候的磁盘分区，不得已重新弄。先分区吧，说到分区那就要先弄一个PE系统盘，我现在的U盘已经装了Centos的镜像，要重新制作系统盘，有

Flink批流合一的介绍概况DataStream API支持不同的运行时执行模式，我们可以根据实际的需求和任务的特征来选择这些模式。STREAMING执行模式是DataStream API的“经典”执行行为，应该用于需要持续增量处理并预期无限期在线的无限作业。此外，还有一种批处理风格的执行模式，我们称之为 BATCH执行模式。 它以一种像批处理框架(如MapReduce)的方式执行作业。 这应用于已知有限的数据源输入并且不会连续运行的有界作业。Flink对流和批处理的统一方法意味着在有界输入上执行

Flink1.13发布新特性概要这个版本是一些永久性的更新，帮助用户更好理解Flink程序的性能。当我们的流处理的速度并不是我们希望看到的性能的时候，这些新特性能帮助我们找到原因：数据加载和背压图能帮助定位性能瓶颈所在, CPU火焰图可以定位哪些代码是程序中的热点代码，State Access Latencies可以查看状态的保存情况除了上述的特征，Flink社区还改进了系统的许多地方，其中有一些会在下面展示。主要功能点响应式伸缩响应式伸缩是Flink的最新功能，它使流处理应用程序和其他应用程序

Flink-1.13DataSteam编程概述Flink中常规的编程就是DataStream的不同转换(e.g. 过滤，更新状态，定义时间窗口，聚合)。数据流可以从不同的源创建(e.g. 消息队列，websocket,文件等)。结果可以通过多种渠道返回，可以写入文件，可以输出到不同的终端。Flink程序可以在多种上下文中运行，或者嵌入到其他的程序中运行。可以跑在本地的虚拟机上，也可以是在集群中。Flink编程的常规步骤获取一个执行环境加载或者创建初始的数据指定对数据做处理的函数e.g. man

使用Docker配置Flink1.12开发测试环境简单介绍Docker现在是开发界必不可少的工具，我们使用docker能够快速将自己的应用进行测试和打包。同时利用容器我们在软件开发中很容就实现了CI和CD的部署配置。当前Flink的官方的基础镜像都可以从docker hub中下载。不过docker hub在前一段时间对游客进行了限速，所以当你遇到下载速度很慢的时候请先使用docker login登录以后再使用docker pull来拉取镜像文件。使用Docker的镜像我们可以构建Session模式或

Flink1.12.3部署介绍FLink架构和组件介绍下面我们来介绍Flin集群的架构角色。Flink集群的初始角色是Flink的客户端client，client持有我们编写的代码，并会将代码翻译成JobGraph并提交给JobManagerJobManager分发任务给各个TaskManager，TaskManager是实际跑任务处理数据的地方，比如从source拉去数据，做MR操作，最后输出都是在TaskManager的工作任务中。当我们需要部署一个Flink集群时，有多个模式可选。我们首先来

阿里云最小代价快速搭建docker&compose环境介绍当前的基于容器的微服务开发在IT界已经是非常普遍的解决方案了。十个公司基本都是十个公司都在使用容器来构建自己的微服务架构，只是大家使用的方式，采用的架构可能有一些不同。当然作为一个出入门的菜鸟，首先以最小的代价来构建一个docker和compose的环境。我们来薅一次阿里云的羊毛，哈哈。准备首先你得有一个支付宝的账户，这年都没有支付宝的人太少了，不过如果你没有，赶紧注册一个。使用支付宝可以快速登录阿里云的官网充值150元，放心使

Gradle7.0 构建Flinkinstall gradledownload gradle解压到某个文件夹，并配置好环境变量GRADLE_HOME=/path/to/gradle/bin,并追加到系统变量path后面注意本地安装的JDK版本大于1.8执行gradle -version使用gradle初始化项目首先打开命令窗口，cd到指定位置，创建你的项目的根目录名称: e.g. md showdemo执行：gradle initSelect ty

Flink 1.12.2 主要配置文件详解本地启动集群的测试下载Flink1.12.2， 并解压配置好JAVA_HOME的机器上，到路径~/flink/bin本地启动：start-cluster.sh, 默认加载 ~/flink/conf/flink/flink-conf.yaml停止: stop-cluster.shflink-conf.yaml详解# Jobmanager的地址，taskmanager必须要识别并能连上。# 只有standalone的集群模式起作用，当执行bin/jo

Flink练习第一个欺诈实例(带时间范围)背景介绍上一个实例我们的核心计算逻辑是检测到同一账户上一个消费小于1元，下一个消费大于100元就定性为有欺诈嫌疑，作为初学者的练习已经领略了Flink状态的威力。本次的实例逻辑将加上时间的监控，我们把欺诈的规则略微做修改。如果同一个账户，在五分钟以内出现两笔交易，一笔小于1元，一笔大于100元，那么我们就人为这个账户有可能存在欺诈的嫌疑，那么就需要生成一条告警信息。Flink的状态管理有状态的流处理是FLink官方给出的最优代表性的特征What i

Flink练习第一个欺诈实例背景Flink官方提供是一个欺诈检测的例子，我们也从这个例子入手。首先需要有一个输入的源，我们会自定义一个缓慢的输入源来放我们的数据，然后进行检测，最后输出。数据的长相这里我们把数据源放入一个csv的文件中,列明分别是[流水id, 用户id , 交易金额， 交易时间]，把下面的数据放入data.csv文件中，把csv文件放入src/main/resources包中。1001, a001, 0.5, 16166232582731002, b001, 0.5, 161

从0到1的Flink1.12.2本地开发环境构建[eclipse篇]Java 环境准备下载openjdk11准备java环境，由于oracel jdk8xx开始收费，我们选用openjdk的环境. Download OpenJDK11Maven 环境准备下载稳定版的maven： Download Maven解压后修改文件./conf/settings.xml，加入阿里云的镜像库配置到mirrors节点 <mirror> <id>nexus-aliyu

联合主键：一般是两个或者以上的字段来标示主键，在JPA中把所有的联合主键的字段放在同一个类中。那么Java类的设计：专门设计一个类，用来存放联合主键字段，而且该类只能存放联合主键字段。【联合主键类设计】package 联合主键;import java.io.Serializable;import javax.persistence.Embeddable;...

多对多的关系，在项目中一定会遇到，而我们在项目中一定会遇到的权限控制。在权限控制中： 角色和权限的关系就是多对多的关系下面我们来看看是怎么样进行JPA的配置的【Java类设计】package ManyToMany;import java.util.Set;import javax.persistence.CascadeType;import jav...

关系：订单 ---&gt; 订单项一对多的双向关联JPA规范：一对多的双向关联，多的一方是负责关系维护，负责外键的更新。关系的被维护段是没有权利更新外键的。其实我们仔细理解：本来一对多的关系中多方是记录一方的外键，那么肯定是由多方去更新自己的外键。【Java类设计，包含数据库设计】package OneToMany;import java.util.Dat...

关系：公民 --- 身份证 一对一的关系数据库设计create table t_citizen ( cid int primary key, cname varchar, cardid int);create table t_card( cid int primary key, cardno varchar(45));...