自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(302)
  • 资源 (6)
  • 问答 (1)
  • 收藏
  • 关注

原创 对比Flink作业提交的几种方式

1. Session Mode1.1 流程(1)session mode会预分配资源,根据指定资源实现创建一个flink集群常驻与Yarn中,并启动一个JobManager和若干TaskManager。(2)这时可以直接提交作业,节省了申请和分配资源的开销1.2 优缺点总结(1)该模式下所有job共享这些固定的资源,而且作业之间不能隔离,会出现资源竞争的情况。(2)当一个TM发生故障,那么所有在这个节点上的job都会失败。(3)当提交的作业越来越多时,JM的负载会越来越高。1

2022-01-02 11:12:07 1329

原创 Flink on Yarn/K8s原理剖析及实践

1. Flink整体架构概览如下为Flink的架构图,用户可以使用4种方式(DataStream、DataSet等)编写flink任务,这些任务逻辑会生成一个JobGraph。JobGraph由source、map()、keyBy()/window()和slink等算子组成。当JobGraph提交给Flink集群后,能够以4种模式运行(Local、Yarn等)2. Flink架构概览之--JobManagerJobManager的架构图如下所示,JobManager的主要功能有:

2020-11-19 18:59:07 754 2

原创 Flink checkpoint原理

1. checkpoint与state的关系state就是checkpoint所做的主要持久化备份的主要数据2. Flink中的statestate主要分为keyed state和operator state2.1 state分类2.1.1 keyed state2.1.2 operator state又称non-keyed state,与一个operator的实例绑定;常见的operator state是source state,例如记录当前source的offset。.

2020-11-06 21:40:07 1234

原创 hive -e 和 -f 通过beeline执行文件中的hive sql语句

1. 在服务器命令行中直接执行sql语句或者sql文件中的内容有时需要在命令行中直接执行hive sql语句,希望不进入hive模式执行,这时候就可以使用hive -e 或者 hive -f 来实现1. hive -e 和 hive -f2. beeline -f ,beeline使用beeline -u "jdbc:hive2://localhost:10000" -n yourname -p passwore -f hivescript.sqlbeeline使用方式请..

2020-11-03 18:25:32 10270

原创 Flink中的时间属性总结

1. 时间属性分类上图为2中时间属性的对比。Processing Time处理起来简单,而处理结果(或者说流处理应用的内部状态)是不确定的。而Event Time在Flink内部做了各种保障,无论重放数据多少次,都能得到一个相对确定的可重现的结果。2. 应用中如何选择时间属性遵循以下原则:当应用遇到某些问题时,要从上一个checkpoint或者savepoint进行重放时,是不是希望结果完全相同。(1)如果希望结果完全相同,则只能用Event Time。(2)如果可以接受不同,则

2020-11-01 18:41:29 759

原创 Kylin集群安装教程

目录1. 准备工作1.1 创建kylin用户1.2 创建kylin二级制文件存放目录1.3 上传kylin文件到服务器2. 开始安装kylin2.1为ukylin用户设置KYLIN_HOME的环境变量2.2 检查环境2.2.1 执行check-env.sh,检查结果如下:2.2.2 接下来我们设置一下这些可选的环境变量3. 启动kylin4. 创建Sample Cube5. 在kylin UI查看刚才创建的 learn_kylin project6..

2020-10-29 19:01:01 1015

原创 Flinkx运行流程图

1. FlinkX简介FlinkX 本质就是根据配置文件,创建一个Flink执行环境StreamExecutionEnvironment。添加source、sink,最后执行env.execute()创建Source:由Reader的readData方法创建InputFormat读取数据并转化为DataStream。创建Sink:由Writer的writeData方法创建的OutputFormat导出到Target 数据源。2. Flinkx Local Mode运行流程图下..

2020-10-17 17:30:39 951

原创 在Idea中搭建fabric-sdk-java的开发调试环境

目录# 1.环境准备# 2. 下载fabric-sdk-java源码# 3. 启动fabric测试网络# 4. 在idea中运行End2endIT测试类今天就先写一个标题啦,未完待续......

2020-04-28 21:52:57 1301 1

翻译 记录一下学习 数据分析 的几个公众号

记录学习数据分析的几个公众号

2024-04-18 21:42:12 3

转载 Text2SQL相关内容总结

text2sql和prompt相关学习内容总结

2024-04-14 15:59:29 9

转载 用代码实现spring ioc容器的功能

什么是IOC,如何用代码实现Spring IOC - 知乎

2024-04-14 15:33:19 9

转载 Java SPI原理和应用案例

SPI在Java中的实现与应用 | 京东物流技术团队_服务_接口_定义Java SPI概念、实现原理、优缺点、应用场景、使用步骤、实战SPI案例-CSDN博客

2024-04-13 19:49:22 9

转载 flink sql系列文章学习内容总结

https://www.51cto.com/article/713192.html

2024-04-12 10:34:35 8

转载 Apache Calcite系列文章学习汇总

apache calcite系列文章汇总

2024-04-06 19:18:15 16

原创 红黑树-B B- B+树总结

红黑树,B- , B+树的理解红黑树,B-树,B+树比较_你觉得大规模数据索引b树快还是红黑树快-CSDN博客b树,b+树,b-树,红黑树详解一锅端

2024-04-05 19:48:15 507

原创 分布式锁的几种实现方式

详解 Redis 分布式锁的 5 种方案-腾讯云开发者社区-腾讯云面试官:了解分布式锁?说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客面试官:了解分布式锁?说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客

2024-04-02 21:56:05 359 2

原创 Flink参数设置和性能优化

4、分桶聚合-适用于去重聚合场景例如count(distinct userId),将数据的key先打散到多个桶进行聚合,再对分桶中的数据最后聚合。去重计算的分桶聚合(例如groupby分钟去重,如果一个key数据500w,另一个key数据1w)导致数据倾斜,开启分桶聚合、分桶个数。0、状态访问性能差、大状态以及数据倾斜这3种场景提供的微批处理、去重场景BitMap复用、两阶段聚合以及去重计算的分桶聚合的优化原理。3、2阶段聚合(适合计数、累加的聚合场景):热点数据倾斜,先聚合再传递给下游。

2024-04-02 08:37:57 431

原创 Flink中几个关键问题总结

硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)Flink可靠性的基石-checkpoint机制详细解析硬核!一文学完Flink流计算常用算子(Flink算子大全)

2024-04-01 19:49:55 398 1

原创 在IDEA中创建vue hello-world项目

在idea中创建vue hello-world项目

2024-02-25 19:30:25 770

原创 IDEA打开已有vue项目

在idea中打开已有的vue项目。

2024-02-21 10:59:25 659

转载 sso登陆原理与实现

sso原理和实现简介

2023-03-21 18:29:16 239 1

转载 Doris业内实践经验总结

doris在指标-标签场景下的应用,以及使用经验总结

2023-02-21 21:22:14 210

转载 支付通道分类

支付通道有快捷支付、非快捷支付;

2022-12-21 21:50:36 569

转载 支付方式-品牌-通道-产品结构图

在支付领域里,支付方式、支付品牌、支付通道和支付产品,是比较容易混淆的概念,需要在理解的基础上加以记忆。

2022-12-21 21:09:44 157

转载 支付系统架构

支付架构的演进与发展

2022-12-21 10:06:23 333

原创 数据分析的5个步骤和阶段

数据分析常见的5个步骤

2022-12-03 20:22:41 280

原创 关于历史、生活的一点感悟

1、耳熟能详的人之初,性本善,性相近,习相远,给我们的启示是:每个人生下来的时候,本性都是一样,但如果从小不好好学习和受外界的不良影响,人的本性就会变坏。所以,人从小就要好好学习,学会区分善恶,保持善良的禀性。可见外界对人的影响是很大的。2、当我们翻阅一些历史资料时,不难发现从历代王朝的故事中我们可以经常看到一些斗争和制衡。例如东汉时期的十常侍乱政、唐代时期李林甫利用“信息不对称”制造的“愚君政策”、还有加速赵宋王朝衰落的朋党之争,再比如蒋家王朝的嫡系、非嫡系部队。3、我们不难发现任何时期,都存在这些为

2022-12-02 08:15:09 97

转载 docker部署mysql

使用docker-compose部署mysql,参考资料使用docker-compose的方式部署mysql - 知乎

2022-04-19 10:45:28 197

转载 hive 解析json字符串及json数组

解析json字符串、json数组请参考这里get_json_object、json_tuple一文学会Hive解析Json数组(好文收藏)

2022-03-20 17:40:58 1369

转载 Flink sql计算 PV和UV的几种实现方案对比

1. 基于cumulateFlink SQL知其所以然:大家都用 Cumulate Window 计算累计指标啦-51CTO.COM2. sink使用upsert方式flink sql实时计算当天pv写入mysql_大数据技术与应用实战的博客-CSDN博客_flink sql 实时统计flink写入 mysql_flink sql实时计算当天pv写入mysql_连役的博客-CSDN博客3. 提前输出或者二次聚合Flink实践:使用FlinkSQL定时输出计算结果 - 代码先锋网..

2022-03-19 21:05:33 1288

翻译 内存OOM以及排查方法

Java OOM问题如何排查 - 南山饱虎 - 博客园Mysql分析-profile详解 - 飞龙在生 - 博客园

2022-03-15 11:50:41 448

转载 Hbase中的过滤器

hbase中过滤器的介绍以及使用方法,参考资料HBase Filter 过滤器之 Comparator 原理及源码学习 - 周蓬勃 - 博客园前言: 上篇文章 "HBase Filter 过滤器概述" 对HBase过滤器的组成及其家谱进行简单介绍,本篇文章主要对HBase过滤器之比较器作一个补充介绍,也算是HBase Fhttps://www.cnblogs.com/zpb2016/p/12775374.html...

2022-03-09 22:05:40 272

转载 Hbase学习资料汇总

参考资料hbase预分区总结 - 程序员大本营https://www.pianshen.com/article/44171407568/

2022-03-09 21:34:50 112

转载 Hbase预分区

【大数据基础】hbase预分区的作用_Hadoop_收获啦HBase预分区方法 - 大墨垂杨 - 博客园hbase 预分区与自动分区 - 西瓜哥119 - 博客园hbase预分区总结 - 程序员大本营

2022-03-09 21:34:18 232

转载 Hbase数据多版本处理

hbase如何存取多版本数据?_大数据_收获啦HBase中修改存储版本数及版本号查询_vic_torsun的博客-CSDN博客_hbase 版本号Hbase修改默认存储版本数_eagle0912的博客-CSDN博客HBase中修改存储版本数及版本号查询_vic_torsun的博客-CSDN博客_hbase 版本号...

2022-03-09 21:24:14 579

转载 Springboot事务及其失效场景

今日头条https://www.toutiao.com/i7069945992455651844/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1×tamp=1646134630&app=news_article&utm_source=weixin&utm_medium=toutiao_ios&use_new_style=1&req_id=202203011937090101511950

2022-03-01 20:22:28 176

转载 CPU居高不下的解决办法

cpu居高不下,排查方法

2022-02-27 13:31:51 1025

转载 MyBatis中井号与美元符号的区别

参考链接MyBatis中井号与美元符号的区别 - coderland - 博客园

2022-02-26 23:06:53 2436

原创 用户xx日留存率计算

1. 计算留存1.1 首选圈定一批用户假设以开始日期-结束日期的新注册用户作为新用户,首先找出新用户:select user, login_date from where login_date betweed xxx and yyy。select user_id, str_to_date(login_time,'%Y/%m/%d') login_timefrom user_infogroup by 1,2; -- 为了去重,只取用户某个日期的一条数据,以user_

2022-02-26 22:48:06 358

原创 Flink高效去重

以上内容来自学习资料《五分钟大数据》公众号,感谢知识分享

2022-02-25 21:55:53 904

Hive中分组取topN_row_number-rank和dense_rank的使用.pdf

hive中分组取topN、row_number、rank和dense_rank使用介绍

2021-04-07

python机器学习 基础教程

python机器学习基础教程、讲解思路清晰,高清文档带目录,并携带随书源码

2018-12-08

com.sun.jdmk.comm.HtmlAdaptorServer对应jar包

开发jmx相关应用时用到的jar包,jmxtools.jar

2017-08-10

Myeclipse10破解

按照问档操作步骤所描述的,一步步执行就可以成功破解Myeclipse10了。这是一好心人给我的文件,现在分享给大家!!

2012-12-19

第三届蓝桥杯预赛试题(各科都有)

第三届蓝桥杯试题 各科都有 可以参考借鉴一下!希望共同进步!

2012-12-15

Acm---搜索入门

Acm---简单的搜索入门,适合刚刚接触Acm的童鞋借鉴,所含内容难度适中。感兴趣的可以参考一下!

2012-12-15

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除