身体健康,万事如意
码龄10年
关注
提问 私信
  • 博客:99,118
    问答:5,218
    104,336
    总访问量
  • 139
    原创
  • 1,826,762
    排名
  • 18
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
  • 加入CSDN时间: 2015-08-04
博客简介:

konstantin的博客

查看详细资料
个人成就
  • 获得34次点赞
  • 内容获得12次评论
  • 获得32次收藏
创作历程
  • 13篇
    2023年
  • 2篇
    2021年
  • 1篇
    2020年
  • 24篇
    2019年
  • 28篇
    2018年
  • 72篇
    2017年
成就勋章
TA的专栏
  • 大数据
    60篇
  • java基础
    17篇
  • 机器学习
    27篇
  • spring
    1篇
  • 计算机网络
    9篇
  • 电路基础
    3篇
  • servlet
  • jsp
  • mybatis
    2篇
  • hibernate
  • spring mvc
  • jvm
  • 算法
    11篇
  • 数据结构
  • 操作系统
    1篇
  • 前端
    1篇
  • 笔记
    1篇
  • linux
    1篇
  • springboot
    2篇
兴趣领域 设置
  • 大数据
    hadoophivesparkflinketl
  • 人工智能
    机器学习深度学习神经网络tensorflow数据分析
创作活动更多

新星杯·14天创作挑战营·第9期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛! 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见 https://bbs.csdn.net/topics/619626357 2、文章质量分查询:https://www.csdn.net/qc

475人参与 去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

flink判断窗口开始

答:

问题描述不清晰,没看懂你的问题

回答问题 2023.08.21

spark vs flink

答:

没有必要

回答问题 2023.08.21

消费历史数据,flink 设置了event_time之后没有输出

历史数据不支持水印,把水印去掉就有输出了。
原创
发布博客 2023.08.21 ·
183 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

flink kafka The transaction timeout is larger than the maximum value

flink kafka The transaction timeout is larger than the maximum value
原创
发布博客 2023.06.14 ·
310 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

flink checkpoint 一直失败导致任务失败的一种情况

flink checkpoint 一直失败导致任务失败的一种情况
原创
发布博客 2023.06.07 ·
908 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

spark 查询大量数据报java.lang.OutOfMemoryError: Java heap space

spark 查询大量数据报java.lang.OutOfMemoryError: Java heap space
原创
发布博客 2023.05.24 ·
806 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SimpleDateFormat 报错 ava.lang.NumberFormatException: For input string: ““ 但是传参正常 flink 任务

flink 任务调用simpledateformat来解析时间字符串报错,查看对应函数传参正常,但是还是报这个错。这是因为这个对象应该是线程不安全的,需要把这个simpledateformat对象放到方法里面来定义就不报错了。
原创
发布博客 2023.04.27 ·
347 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

ClassNotFoundException: org.apache.flink.shaded.guava18.com.google.common.collect.Lists

ClassNotFoundException: org.apache.flink.shaded.guava18.com.google.common.collect.Lists
原创
发布博客 2023.04.14 ·
4746 阅读 ·
6 点赞 ·
0 评论 ·
0 收藏

flink cdc 同步实时同步mysql 程序不报错,数据不更新

flink cdc 同步实时同步mysql 程序不报错,数据不更新
原创
发布博客 2023.03.31 ·
1131 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

flink kafka写入hive 程序结果不输出的问题

flink kafka写入hive 程序结果不输出的问题
原创
发布博客 2023.03.28 ·
186 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

The main method caused an error: only single statement supported

The main method caused an error: only single statement supported
原创
发布博客 2023.03.27 ·
960 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink cdc 同步mysql 初始化同步报错 The slave is connecting using CHANGE MASTER TO MASTER_AUTO_POSITION = 1

flink cdc 同步mysql 报错The slave is connecting using CHANGE MASTER TO MASTER_AUTO_POSITION = 1, but the master has purged binary logs containing GTIDs that the slave requires 解决方法
原创
发布博客 2023.03.22 ·
1363 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink 程序打印过多日志问题,日志过多解决

比如在flink 消费kafka的程序中,出现多次kafka fetcher,map 2/10类似的日志,是因为在执行的任务的依赖里有log相关的依赖,建议exclue掉当前执行的任务的依赖中所有log4j,sl4j,logback等相关依赖,就可以解决这个问题。
原创
发布博客 2023.03.17 ·
1409 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

flink CEP 不输出问题

flink cep 任务不输出
原创
发布博客 2023.02.24 ·
399 阅读 ·
2 点赞 ·
3 评论 ·
1 收藏

flink stop with savepoint 命令 Caused by: java.util.concurrent.TimeoutException

flink stop savepoint 超时 timeout
原创
发布博客 2023.02.20 ·
757 阅读 ·
0 点赞 ·
3 评论 ·
0 收藏

2.Flink DateStream API

分布式流处理模型抄的网图,下图就是典型的flink 分布式流处理模型主要将数据分为三部分,输入,处理,输出三部分。flink 就是一个批流一体的数据处理引擎和工具。其中flink sql ,flink table api ,flink date stream 关系如图:首先类似hadoop wordcount demo,flink 版也来的wordcount,告诉你整体怎么用这个datastreamAPI。执行这个要包含main方法,和MR类似;实际上,数据处理也和离线差不多
原创
发布博客 2021.10.11 ·
254 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

1.Flink 核心特性概述

1.统一的数据处理组件栈,处理不同的数据需求,有batch,stream,machinelearning,graph等2.支持事件时间,接入时间,处理时间等时间概念。3.基于轻量级分布式快照实现容错(主动的savepoint和被动的checkpoint)4.支持有状态计算5.支持高度灵活的窗口操作(滑动,滚动,会话窗口)6.带反压的连续流模型(自带反压,进行生产消费监测,当消费能力弱与生产能力,则通过master监控传递并减少生产速度)7.基于JVM实现了自己的内存管理(应用可以超出
原创
发布博客 2021.10.11 ·
242 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

mac 连接显示屏无响应/转接口连接显示屏

这个比较玄学,我的是把电源线拔了然后把转接口插入,稳定一下,多插几次就好使了,然后再插电源线。
原创
发布博客 2020.08.18 ·
990 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

xgboost 推导 /原理/公式/

首先要知道booster中四个经典模型,gbdt,lightgboost,xgboost,catboost,具体区别自己百度,各有优缺点。公式xgboost 目标函数目标函数就是损失相关,一般模型都是要使目标函数最小化。xgboost 目标函数由训练损失和正则化项两部分组成,目标定义如下: 前半部分为训练损失,后半部分为树的复杂度是损失函数。是真实值,是预测值,i...
原创
发布博客 2019.11.25 ·
440 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

关于xgboost gpu版本 linux下安装 各种坑

一般按照官网来安装就行https://xgboost.readthedocs.io/en/latest/build.html如果安装到make -j4出错,那是因为你的驱动版本不对,或者cuda版本和驱动版本冲突的问题实在编译不了了,请将cuda升级到10,并把对应驱动安好,然后直接下载编译好的xgboost1.0版本,亲测好使。而且,其实gpu版本快不了多少,除非你gpu真的多。...
原创
发布博客 2019.11.20 ·
673 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多