- 博客(146)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表，并且自动同步到Hive表4.查询视图数据，插入到输出表 -- flink 后台实时执行2.3pom 文件需要的类<?xml version="1.0" encoding="UTF
2022-02-20 22:08:00
8066
原创 大数据之数据湖---flink 整合hudi
1.hudi 简介 Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。 Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Log日志。三大特点：流式读写、自我管理、万物皆日志2.hudi 应用3. 官网https://
2021-10-05 23:22:26
2742
原创 pyflink 环境测试以及测试案例
* 7.1. conda命令及pip命令**conda install 包名 pip install 包名conda uninstall 包名 pip uninstall 包名conda install -U 包名 pip install -U 包名7.2 Anaconda设置为国内下载镜像7.3 conda创建虚拟环境conda create py_env python=3.8.8 #创建python3.8.8环境activate py_env #激活环境。
2023-10-19 16:59:22
1116
原创 flink sql热加载自定义函数 不重启flink集群
第三步： 进入flink 客户端 ./sql-client.sh embeded。第二步打包后 放到一个位置比如：flink/lib 中。第四步： 进行进入当前的catalog 中。第五步： 在客户端中执行。第一步 先写好udf 函数。
2023-09-11 20:57:40
353
原创 ai模型训练生成效果 chilloutmix_NiPrunedFp32Fix.safetensors
在这里插入图片描述](https://img-blog.csdnimg.cn/62235a718f8542c7a47b1779ed36ce7e.png。更多的模型下载 模型训练请加。
2023-04-25 23:29:37
5899
原创 常用的Linux 150个命令并举例说明:
常用的Linux 150个命令并举例说明:1. ls: 列出目录内容。例如:ls /home/ 列出/home目录下的文件和文件夹。2. cd:切换目录。例如:cd /home 进入/home目录。 3. pwd:显示当前目录。例如:pwd 显示/home/user。 4. mkdir:创建目录。例如:mkdir mydir 创建mydir目录。 5. touch:创建空文件。例如:touch file.txt 创建file.txt文件。 6. rm:删除文件或目录。例如:rm file.tx
2023-04-24 01:12:48
666
原创 flink sql自定义函数 多个参数调用http接口 并且实时调用
使用通过flink sql 自动定义函数（udf）将实时接入的数据输出到 http 接口当中
2023-04-05 17:03:59
1916
1
原创 Flink sql 创建 视图-view
例子不是很恰当主要是 我们在创建数仓表时，通过先将一个函数的结果集放到一个视图中， 在通过一个函数 将上一个视图 结果放入到视图中 然后在通过视图 的结果放入到 数仓新表中。比如 对一张表中的一列进行函数的结果放入到一个视图中 在对视图进行一个函数 结果集放入到视图中，最终将视图中的结果放入到表中。
2022-12-10 00:43:09
3006
原创 FlinkSQL 14.5 CDC实现同步oracle11G 数据到mysql
FlinkSQL 14.5 CDC实现同步oracle11G 数据到mysql
2022-10-13 00:52:37
2018
2
原创 flink 13.5 自定义connect之clickhouse
在resources下面新建 META-INF/services 然后新建一个 org.apache.flink.table.factories.Factory 文件里面指定到com.wudl.ck.table.ClickHouseDynamicTableFactory 动态表工厂。从clickhouse 数据同步到 mysql。cast(属性 as 类型) ，进行类型转换。
2022-09-07 17:44:51
1400
原创 Flink sql 自定义Connector
Metadata（元数据）、Planning（规划），Runtime（运行时提供者）三个部分的内容。
2022-09-07 11:56:40
863
原创 flink sql -mysql cdc 到hudi表在输出到kafka中
flink sql -mysql cdc 到hudi表在输出到kafka中。
2022-09-05 19:24:20
1033
原创 章节专题2021-整合管理
关键相关方的期望影响到项目的成功几率，所以最好能够统筹兼顾，此时无论不考虑哪一个相关方的期望都是不合适的，排除ABD，选项C尝试用合作的方式来追求共同利益，是正确的管理实践。关键词“启动阶段“，事业环境因素变更影响了工作范围，因为在启动阶段，只有项目章程，含有高层级的需求等信息，章程由发起人负责，因此选B，对项目章程更新并再次获得批准。题目关键“规划后，执行前，获得相关方承诺“，开工会议（kick-off/start up) "旨在传达项目目标，获得团队对项目的承诺以及阐明相关方的角色和职责“，选A。...
2022-08-30 00:20:57
766
原创 Flink sql 实现 -connection-clickhouse的 source和 sink
flink13.1 操作clickhouse 所需要的jar 包 以及自定义flink 连接clickhouse 的驱动包
2022-08-28 23:44:15
3316
3
原创 hugegraph图数据库源码 之 -idea启动hugegraph-server
将empty-sample.groovy文件copy到/下，并修改file为files: [empty-sample.groovy]将files: [conf/empty-sample.groovy]注释掉。
2022-08-19 00:19:45
420
原创 dolphinscheduler 执行脚本 shell 自动远程操作服务器
代码】dolphinscheduler 执行脚本 shell 自动远程操作服务器。
2022-08-07 16:27:17
1558
原创 使用expect实现自动化输入
从标题上就能大概猜出expect的用途，即“期待”系统的输出，且对应地发送输入作为响应。在man文件中是这么介绍expect的：expect是一种能够按照脚本内容设定的方式和交互程序进行“对话”的程序。...
2022-08-07 16:22:34
461
原创 linux 安装 ftp 以及 将ftp文件下载到指定目录
getsebool-a|grepftp执行命令这个出不来就SELINUX=disabled修改为1。第二种是是通过目录文件夹新建一个日期然后更加日期进行下载到另一个目录。第一种方式是将文件名包含时间的名称匹配文件名称进行下载。SELINUX=disabled修改为1。...
2022-07-31 23:23:43
4419
1
原创 elasticsearch之 hdfs上的备份和还原操作
要先将快照删除之前的索引在还原，如果是全部的索引还原就将全部的索引删除，但是.kibana的索引无法删除要用poostmain删除就不会建了因为用kibana会自动创建索引。hdfs创建仓库文件夹hdfsdfs-mkdir-p/elasticsearch/backups/my_hdfs_repository。...
2022-07-30 23:48:37
1084
原创 Elasticsearch的 DSL查询
2.2 全文搜索(full-text query)2.2.1 匹配搜索(match query)2.3 短语搜索(match phrase query)2.3.1 query_string 查询2.4 多字段匹配搜索(multi match query)2.5 词条级搜索(term-level queries)添加数据结构 和添加数据结构添加数据3.5.1 词条搜索(term query)3.5.2 词条集合搜索(terms query)3.5.3 范围搜索(ran
2022-07-10 18:45:01
1717
原创 Elasticsearch的基本操作
1.2 ik分词的特点1.3 下载地址：对应文章中es版本.1.5 重启es遇到一个错误 采用上门的访问就会报下面的错误1.6 在镜像内部进行安装分词进入docker下载安装确认输入y过程：执行显示2. 创建索引3. 映射操作3.1 打开索引3.2 修改索引3.3 打开索引3.4 关闭索引3.5 删除索引4. 索引的映射简介：4.1 创建索引字段4.1.1 实例4.2 映射的字段类型简介4.3 查看映射关系4.4 一次性......
2022-07-09 17:55:58
304
原创 docekr 安装elasticsearch:7.12.0
2.创建对应的映射文件目录3. 修改配置文件让其他机器可以访问3.1 增加跨域配置/root/tools/elasticsearch/config4. 创建容器5. 赋值权限不赋值权限会报错6. 访问7.1 创建文件夹7.2 创建文件7.3 创建网络映射7.4 创建容器7.5 访问地址8.1 启动head 容器8.2 访问head 并且连接...
2022-06-30 00:06:46
457
原创 java 验证码生成和验证
1.生成验证码逻辑2. redis 集成环境pom<!--redis场景依赖--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency><!-- redis创建连接池，默认不会创建连接池 -->
2022-05-28 22:23:25
327
原创 Springboot中的普通类如何调用Service或Dao层的方法
1. 新建一个工具类package com.yyl.newcdss.utils;import org.springframework.beans.BeansException;import org.springframework.context.ApplicationContext;import org.springframework.context.ApplicationContextAware;/** * @ClassName: IdWorker * @Author: wudl * @
2022-05-28 21:56:50
1878
原创 Flink总结学习笔记之一
1.Flink 的知识点总结：2.Flink 的简单简介：2009年诞生。2014年一跃成为Apache 软件基金会的顶级项目.2019年被阿里收购成为中国人主导的项目,可以适合中国国内的发展。Flink 的使用场景。用官网的图说明2.1 Flink 的简单场景：3.Flink 的特性。1.高吞吐和低延迟。每秒处理数百万个事件，毫秒级延迟 。2.结果的精准一次性。3.高可用。4.可以链接常用的存储。5.更新应用程序作业迁移到不同的flink 集群。4.Flink 架
2022-05-19 00:55:24
430
原创 Java 策略模式 和工厂模式的结合代替if
1. 策略模式代替if else if2.优点：1.策略模式符合开闭原则2.避免使用多重条件转义语句 比如： if else if switch 语句3. 使用策略模式可以提高算法的保密性和安全性3. 缺点1.客户端需要知道所有的策略 并且知道使用那一个策略2.策略过多会增加 维护难度。4. 类图5.实现代码：5.1 DbIStrategypackage com.wudl.design.trategy.upgrade;/** * @author ：wudl
2022-04-13 01:01:32
804
1
mysql 8 详细的安装文档 包括安装文件以及常用出现的错误信息等等
2024-08-17
minio 可以下载功能配额等功能
2024-06-18
Linux离线安装NTP服务，内网环境下配置本地时间同步
2024-02-01
docker 中安装cendos 并且 安装 pyflink 14.5 的环境 的容器 参考 https://blog
2023-10-20
jdk 1.8 版本的 241 等
2022-09-06
lrzsz 的linux 离线安装
2022-09-06
flink13.1 scala 11 操作clickhouse 的代码实现 包括source sink
2022-08-29
flink13.1 操作clickhouse 的代码实现 包括自定义 source 自定义 sink
2022-08-28
flink13 操作clickhouse 的代码实现 包括source sink
2022-08-28
flink13.2 操作clickhouse 所需要的jar 包
2022-08-27
flink13.1 操作clickhouse 所需要的jar 包
2022-08-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人