pop_xiaohao的专栏

背景目前互联网已经进入了AI驱动业务发展的阶段，传统的机器学习开发流程基本是以下步骤：数据收集->特征工程->训练模型->评估模型效果->保存模型，并在线上使用训练的有效模型进行预测。这种方式主要存在两个瓶颈：模型更新周期慢，不能有效反映线上的变化，最快小时级别，一般是天级别甚至周级别。另外一个是模型参数少，预测的效果差；模型参数多线上predict的时候需要内存大，QPS无法保证。针对这些问题，一般而言有两种解决方式：一种是采用On-line-learning的算法

背景介绍一句话来介绍 Flink 就是 “Stateful Computations Over Streams”。四个基石：Checkpoint、State、Time、Window。Checkpoint 机制，Flink 基于 Chandy-Lamport 算法实现了分布式一致性的快照，从而提供了 exactly-once 的语义。（Flink 基于两阶段提交协议，实现了端到端的 exactly-once 语义保证。内置支持了 Kafka 的端到端保证，并提供了 TwoPhaseCommitSinkF

DataSource From Collectionpackage com.geekbang.flink.source;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecution

报错日志如下Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) at org.apache

背景mac环境 flink 1.11.2 执行pyflinkflink run -py /Users/haozhang/from_hive_to_mysql.pypyflink udf大概内容@udf(input_types=[DataTypes.ARRAY(DataTypes.INT())], result_type=DataTypes.STRING())def changeIntArrayToString(data): return str(data)t_env.execute_

Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布！近 300 位贡献者参与了 Flink 1.12.0 的开发，提交了超过 1000 多个修复或优化。这些修改极大地提高了 Flink 的可用性，并且简化（且统一）了 Flink 的整个 API 栈。其中一些比较重要的修改包括：在 DataStream API 上添加了高效的批执行模式的支持。这是批处理和流处理实现真正统一的运行时的一个重要里程碑。实现了基于Kubernetes的高可用性（HA）方案，作为生产环境中，Zo

背景主要是实践下从mysql读数据写入到ElasticSearch,以及总结下相关问题和想法参考链接：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/elasticsearch.html先决条件添加maven依赖，从mysql读取数据这两个依赖必不可少 <dependency> <groupId>org.apac

背景主要是实践下从mysql读数据写入到mysql，期间也会遇到的一些问题。参考链接：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/jdbc.html先决条件添加maven依赖，从mysql读取数据到mysql这两个依赖必不可少 <dependency> <groupId>org.apache.flink</g

最近在验证flink sql 从source 读取数据写入到sink，验证一些场景，下面是简单的从一个文件当中读取数据写入到一个文件当中，这其中也遇到不少问题import org.apache.flink.table.api.EnvironmentSettings;import org.apache.flink.table.api.TableEnvironment;//前提条件，在tmp目录下的input文件，随便输入一些单词就好public class JavaSqlWordDemo { pu

一、Flink 运行基础环境工具描述jdkjdk 1.8+mavenmaven 3,最好maven 3.25源代码https://github.com/apache/flink系统mac os/linux二、下载解压flink安装包$ tar -xzf flink-1.11.2-bin-scala_2.11.tgz$ cd flink-1.11.2-bin-scala_2.11三、单机 Standalone 的方式运行 Flink(base) h

代码混用在java代码编写代码时候不知不觉就引入了，引入了scala包， <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_${scala.binary.version}</artifactId> <version>${flink.version}&lt