fragrans-CSDN博客

原创对比Flink作业提交的几种方式

1. Session Mode1.1 流程（1）session mode会预分配资源，根据指定资源实现创建一个flink集群常驻与Yarn中，并启动一个JobManager和若干TaskManager。（2）这时可以直接提交作业，节省了申请和分配资源的开销1.2 优缺点总结（1）该模式下所有job共享这些固定的资源，而且作业之间不能隔离，会出现资源竞争的情况。（2）当一个TM发生故障，那么所有在这个节点上的job都会失败。（3）当提交的作业越来越多时，JM的负载会越来越高。1

2022-01-02 11:12:07 1451

原创 Flink on Yarn/K8s原理剖析及实践

1. Flink整体架构概览如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。JobGraph由source、map()、keyBy()/window()和slink等算子组成。当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等）2. Flink架构概览之--JobManagerJobManager的架构图如下所示，JobManager的主要功能有：

2020-11-19 18:59:07 897 2

原创 Flink checkpoint原理

1. checkpoint与state的关系state就是checkpoint所做的主要持久化备份的主要数据2. Flink中的statestate主要分为keyed state和operator state2.1 state分类2.1.1 keyed state2.1.2 operator state又称non-keyed state，与一个operator的实例绑定；常见的operator state是source state，例如记录当前source的offset。.

2020-11-06 21:40:07 1312

原创 hive -e 和 -f 通过beeline执行文件中的hive sql语句

1. 在服务器命令行中直接执行sql语句或者sql文件中的内容有时需要在命令行中直接执行hive sql语句，希望不进入hive模式执行，这时候就可以使用hive -e 或者 hive -f 来实现1. hive -e 和 hive -f2. beeline -f ，beeline使用beeline -u "jdbc:hive2://localhost:10000" -n yourname -p passwore -f hivescript.sqlbeeline使用方式请..

2020-11-03 18:25:32 11501

原创 Flink中的时间属性总结

1. 时间属性分类上图为2中时间属性的对比。Processing Time处理起来简单，而处理结果（或者说流处理应用的内部状态）是不确定的。而Event Time在Flink内部做了各种保障，无论重放数据多少次，都能得到一个相对确定的可重现的结果。2. 应用中如何选择时间属性遵循以下原则：当应用遇到某些问题时，要从上一个checkpoint或者savepoint进行重放时，是不是希望结果完全相同。（1）如果希望结果完全相同，则只能用Event Time。（2）如果可以接受不同，则

2020-11-01 18:41:29 849

原创 Kylin集群安装教程

目录1. 准备工作1.1 创建kylin用户1.2 创建kylin二级制文件存放目录1.3 上传kylin文件到服务器2. 开始安装kylin2.1为ukylin用户设置KYLIN_HOME的环境变量2.2 检查环境2.2.1 执行check-env.sh，检查结果如下：2.2.2 接下来我们设置一下这些可选的环境变量3. 启动kylin4. 创建Sample Cube5. 在kylin UI查看刚才创建的 learn_kylin project6..

2020-10-29 19:01:01 1213

原创 Flinkx运行流程图

1. FlinkX简介FlinkX 本质就是根据配置文件，创建一个Flink执行环境StreamExecutionEnvironment。添加source、sink，最后执行env.execute()创建Source:由Reader的readData方法创建InputFormat读取数据并转化为DataStream。创建Sink:由Writer的writeData方法创建的OutputFormat导出到Target 数据源。2. Flinkx Local Mode运行流程图下..

2020-10-17 17:30:39 1022

原创在Idea中搭建fabric-sdk-java的开发调试环境

目录# 1.环境准备# 2. 下载fabric-sdk-java源码# 3. 启动fabric测试网络# 4. 在idea中运行End2endIT测试类今天就先写一个标题啦，未完待续......

2020-04-28 21:52:57 1403 1

原创如何在Dify中安装运行pandas、numpy库（离线、在线均支持，可提供远程指导）

pandas和numpy这两个库是数据科学和数据分析中经常使用的工具包，原生的Dify无法直接使用这两个库，需要手动安装后才可以使用。本文将介绍如何在Dify中安装pandas和numpy，并在代码执行节点中运行使用pandas和numpy。Dify的代码执行节点中的python逻辑，实际是运行在Dify沙盒中的，因此我们在沙盒中安装pandas和numpy就可以了。如果您有在Dify中添加pandas、numpy的应用需求，欢迎关注作者进行交流。

2025-04-09 18:32:43 450 1

原创 2025年软考开始报名了

报名入口地址：https://bm.ruankao.org.cn/sign/welcome。25年软考可以报名了，参加考试的小伙伴可以查看所在城市报名时间了，错过要等下半年！重温了一下去年自己参加考试的回忆录，跳转原文。

2025-03-11 09:26:53 113 1

原创 NL2SQL-基于Dify+阿里通义千问大模型，实现自然语音自动生产SQL语句

可以看到基于大模型工具，可以快速高效的将自然语音转化为SQL语句，降低我们与数据库沟通的门槛。后续将介绍如何执行自动生产的sql语句，将查询结果以表格、图表的方式自动呈现，同时自动生产数据查询分析报告。本文基于Dify+阿里通义千问大模型，实现自然语音自动生产SQL语句功能，话不多说直接上效果图。想要获取NL2SQL案例Dify的DSL文件，请跳转。想要获取Dify v.1.0最新版本的景象，跳转这里。将上述工作流发布后，在会话框中感受一下效果。关注作者及时获取更新动态！我们可以试着问他几个问题。

2025-03-03 16:57:00 1252 2

原创 springboot集成langchain4j-实现简单的智能问答机器人

本文将基于langchain4j实现一个简单的智能问答机器人。

2025-03-01 16:52:14 388

原创 Dify v1.0.0 里程碑版本正式亮相

Dify最近迎来了里程碑式更新，v1.0.0 全新版本正式上线。v1.0.0的发布标志着 Dify 作为 AI 应用开发平台的重大飞跃，一睹新版本的核心亮点吧！（1）Dify v1.0.0镜像下载。

2025-03-01 16:44:12 450

原创 vue项目如何设置默认页面

创建一个新的vue项目并且将初始页面还原到空白项目开始 - 现实里的乌托邦 - 博客园vue项目如何设置默认页面 • Worktile社区创建一个vue项目并配置默认页面_vue如何设置初始展示的页面-CSDN博客

2025-02-07 18:03:25 175

原创 windows 环境下安装yarn命令工具

Yarn是facebook发布的一款包管理工具，与npm的功能相似，使用npm来安装yarn工具。

2025-01-11 22:47:07 295

原创 jdk1.8升级jdk17

在安装好jdk后，配置jdk17的环境变量（将电脑上已经存在的jdk1.8配置删除掉），安装后的jdk17目录下，是没有jre文件夹的，因此在jdk-17当前目录下打开cmd终端，执行命令生成jre文件夹（配置系统环境变量需要用到jre）最近开发开发langchain4j功能时，要求jdk最低版本为17，所以针对当前电脑上的jdk1.8进行升级至jdk17.点击对应的Java SE17版本，跳转至下载页面，选择对应系统的jdk17即可。

2024-12-28 11:05:04 545

原创介绍一款docker ui 管理工具

ui启动命令所在文件夹目录。

2024-12-13 17:23:50 397

原创 docker安装、升级、以及sudo dockerd --debug查看启动失败的问题

docker升级和部署

2024-12-13 16:04:58 717

原创设置docker镜像加速器

登陆阿里云账号后，可以看到镜像加速器的配置，如下图所示。

2024-12-11 23:10:35 296

原创使用sm3+时间戳，签名防止接口重放攻击

将sign作为一个参数，进行请求，如果sign的值已经被使用过，请求过接口，则提示已经使用过，防止重放攻击。

2024-12-03 16:54:13 130

原创元数据平台和数据质量平台项目汇总

antlr原则上应该是领域特定语言（DSL）开发工具，不仅适用于SQL，还可以用于其他自定义语言。antlr 是一款开源的语法分析器生成工具，能够根据语法规则文件生成对应的语法分析器，中文官方文档 https://blog.sqlflow.cn/支持GPT的智能数据库客户端与报表工具——Chat2DB。Great Expectations—开源的数据质量工具。开源项目推荐b站平台。

2024-12-01 12:14:48 121