- 博客(26)
- 收藏
- 关注
RSS订阅原创 openai api使用
常用的 OpenAI Api 接口总共分为 4 类：对话类、私有化模型训练类、通用类、图片 & 音频类，其中对话类与私有化模型训练类是最常用的。
2024-08-12 20:06:15
1180
原创 flink 使用jdbc批量写入
public class JdbcSinkOperator<T extends Serializable> extends AbstractStreamOperator<Object> implements ProcessingTimeCallback, OneInputStreamOperator<T, Object>{ private Map<String,List<String>> map; private ListState
2021-11-16 09:37:15
1503
原创 docker安装以及常用命令
docker安装以及常用命令1.docker安装sudo yum install -y yum-utilssudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.reposudo yum install docker-ce docker-ce-cli containerd.io2.docker卸载sudo yum remove docker \
2021-08-26 16:06:36
205
原创 自定义注解实现参数校验
实体类中参数校验使用自定义注解1.参数校验工具依赖<dependency> <groupId>javax.validation</groupId> <artifactId>validation-api</artifactId> <version>2.0.1.Final</version></dependency>2.自定义注解校验器public class IsBooleanC
2021-08-13 09:23:09
310
原创 利用钉钉或者企业微信群机器人发送告警信息
使用钉钉或者企业微信群机器人发送告警信息1.因任务监控信息需要及时通知相关开发人员,所以使用钉钉或者企业微信的群机器人帮助发送告警信息及时通知相关人员。2.在使用企业微信或者钉钉机器人时需要创建或者在已有的群里自定义机器人(通过webhook接入自定义服务)，钉钉需要保存群token(access_token),企业微信保存key//钉钉def urlDing = "https://oapi.dingtalk.com/robot/send?access_token=xxx";val body =
2021-06-12 14:57:49
923
2
原创 jdbc连接Phoenix问题解决
JDBC连接Phoenix报错以及解决说明：在构建实时项目中idea中使用Phoenix查询hbase维度数据时，连接建立后又发生错误，异常信息如下Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator查询后发
2021-05-29 17:03:33
1630
2
原创 记一次flink中状态使用所遇问题
记一次flink状态使用所遇问题在用flink做实时计算时，用到状态去存储一些中间数据或者结果数据，在本次项目中我要用到两个相同类型的状态，所以在做初始化时，以为描述器可以重用，所以只创建了一个描述器。//定义描述器val ttlDes = new ValueStateDescriptor[Boolean]("ttl", classOf[Boolean])//初始化ttlState = getRuntimeContext.getState[Boolean](ttlDes)subjectState
2021-05-11 18:02:40
310
原创 Flink 1.12-SQL
Flink 1.12 SQL 应用1.mysql实时数据与kafka更新的维度数据进行关联，补全维度后输出到dwd层kafkaimport org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;impor
2021-04-23 15:45:09
894
原创 kafka外部访问失败
kafka外网读写失败当使用java对kafka进行读写时一直连接超时，定位问题是因为外部ip:9092访问不通,当使用内网时可以访问#使用映射可以通telnet kafka 9092#换成ip不行telnet ip 9092查看配置文件也正常listeners=PLAINTEXT://kafka:9092# Hostname and port the broker will advertise to producers and consumers. If not set,# it us
2021-04-19 17:40:36
1137
原创 flink中listState删除指定value
Flink中listState删除指定valueFlink作为流批统一的计算框架，其中有一大特点就是它的状态编程，利用状态编程可以省去部分中间存储系统,当我们使用ListState存储一些中间结果时，有时候避免不了要删除指定的状态，以下为指定删除value的一段实现代码import java.langimport org.apache.flink.api.common.functions.RichMapFunctionimport org.apache.flink.api.common.state
2021-03-30 15:27:28
1551
3
原创 canal指定binlog位点启动
canal指定binlog位点启动1. canal基于集群模式搭建，所用版本为带有可视化页面的canal-1.1.4，包结构如下canal-adaptercanal-admincanal-server2.抽取实例主要配置canal-server，包结构如下cd canal-server/binconfliblogs#conf目录[canal-server]$ cd conf/canal_local.propertiescanal.propertiesexamplelogba
2021-01-21 13:41:40
1622
1
原创 hive中关于表的一些操作指令
hive表操作1.建表 CREATE TABLE `test_part_category`( > rowkey string COMMENT 'hbase中rowkey', > mid string, > market_id bigint, > code string, > key string, > value string, > create_time string COMMENT
2020-11-13 09:26:25
277
原创 记一次canal抽取mysql的binlog日志到kafka环境搭建
记一次调研canal抽取mysql的binlog日志到kafka环境搭建1.mysql相关配置1.canal的原理是基于mysql binlog技术，需要开启mysql的binlog写入功能，并且配置binlog模式为row.#mysql启动操作指令service mysqld startservice mysqld statusservice mysqld stop2.开启mysql的binlog功能：[mysqld]datadir=/var/lib/mysqlsocket=/var
2020-08-30 17:38:06
671
原创 Kylin中使用Api构建cube以及状态监控脚本
Kylin中使用RESTful API 每日构建cube以及进行状态监控1.认证目前Kylin使用basic authentication。给第一个请求加上用于认证的 Authorization 头部。POST http://localhost:7070/kylin/api/user/authenticationAuthorization:Basic xxxxJD124xxxGFxxxSDFContent-Type: application/json;charset=UTF-82.跟踪
2020-05-25 15:53:17
852
原创 flink常用算子以及window
Flink 窗口种类以及常用算子使用flink有以下几类窗口：Tumbling Windows滚动窗口长度固定，滑动间隔等于窗口长度，窗口元素之间没有交叠。// tumbling event-time windowsinput .keyBy(<key selector>) .window(TumblingEventTimeWindows.of(Time.sec...
2020-05-07 18:11:36
854
原创 Azkaban报错解决
Azkaban报错以及解决说明：使用Azkaban调度执行脚本时遇到的错误以及解决办法问题一：FAILED: ParseException line 16:36 cannot recognize input near 'else' 'type' 'end' in expression specification该原因是由于执行的脚本中运行的是hive操作，在hive -e “ ”语句中...
2020-04-01 19:18:23
2496
原创 数仓ods分区总结
表概念1.全量表：用来记录当前所有事物的最新信息，包括变化的和没有变化的.2.增量表：用来记录事务的有变化的量。只记录有变化的没有变化的不需要记录.3.快照表：快照表是有时间分区的，每个分区里面的数据都是分区时间对应的前一天的所有全量数据.4.拉链表: 记录一个事物从开始，一直到当前状态的所有变化的信息.不分区保留历史数据方式以及计算影响ods层新增数据插入到原表中，这样原表中会保存...
2020-03-16 10:52:45
3250
原创 Apache Impala总结
Impala 基于hive，使用内存计算，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。Impala适合用来处理输出数据适中或比较小的查询。组件简绍Impala Statestore :检查集群各个节点上Impala daemon的健康状态,同时不间断地将结果反馈给各个Impala daemonImpala Catalog :分发hive 的元数据信息到 Imp...
2020-02-24 22:04:41
647
原创 Flink 1.9 Table API -kafkaSource
Flink 1.9 Table API -kafkaSource 使用kafka作为flink的数据源对接flink Table,本次测试使用的是单节点的kafka以及flink,以下为一次简单的操作，包括kafka主题的创建、订阅、发布以及具体的小案例kafka中主题的创建[root@CentOSA kafka_2.11-2.1.0]# bin/kafka-topics.sh --cre...
2020-02-17 14:16:29
703
原创 Flink 1.9 Table API & SQL 2
Flink 1.9 Table API & SQL 2Table API是用于流和批处理的统一关系的API，以下为对同一种需求的三种简单的不同使用形式需求：求每个用户的订单总额1.使用tableEnv.registerTableSource()进行表的注册import org.apache.flink.api.common.typeinfo.{TypeInformation, Ty...
2020-01-31 19:58:54
1801
原创 flink-1.9.1单机版环境的搭建
Flink基础环境本次安装Flink版本为flink-1.9.1,可以点击此链接直接下载https://www.apache.org/dyn/closer.lua/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz前提条件1.安装JDK[root@CentOSA ~]# rpm -ivh jdk-8u191-linux-x64.rpmwar...
2020-01-27 19:49:25
1206
原创 Flink 1.9 Table API & SQL 1
Flink 1.9 Table API & SQL Apache Flink具有两个关系API-Table API和SQL-用于统一流和批处理。Table API是用于Scala和Java的语言集成查询API，它允许以非常直观的方式例如使用关系运算符（选择，过滤和联接等）来进行查询。Flink的SQL基于标准的Apache Calcite。无论输入是批处理输入（DataSet）还是流输...
2020-01-21 09:10:17
783
原创 shell脚本基本操作一
Shell 脚本简介Shell 脚本 （shell script），是一种为shell编写的脚本程序。业界所说的 shell 通常都是指 shell 脚本，但读者朋友要知道，shell 和 shell script 是两个不同的概念。由于习惯的原因，简洁起见，本文出现的 “shell编程” 都是指 shell 脚本编程，不是指开发 shell 自身。# #!是一个约定的标记，它告诉系统这个...
2020-01-20 17:24:55
347
原创 hive中一些基础的函数
###日期相关函数1.regexp_replace(order_time, ‘-’, ‘’)将字符串中的 - 替换为空格`2.from_unixtime(unix_timestamp(),‘yyyy-MM-dd HH:mm:ss’)获取当前的时间`3.from_unixtime(bigint unixtime,string format)将时间戳秒数转化为UTC时间，并用字符串表示，可...
2020-01-19 11:11:11
639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人