- 博客(38)
- 资源 (7)
- 收藏
- 关注
原创 使用 SageMaker 对 Whisper 模型进行微调及部署
Whisper 作为 OpenAI 最新开源的自动语音识别(ASR)模型,采用了编码器-解码器(encoder- decoder)transformer架构,并使用了 68 万小时的从互联网收集的多语言、多任务的已标注数据进行训练。根据其论文显示,Whisper 模型在无需微调(zero-shot)的情况下,在多个数据集的测试上鲁棒性更高,错误率更低。关于 Whisper 模型的更多细节,参见其官方网站以及。
2023-11-14 17:15:00
781
1
原创 RestTemplate直接发送内存文件对象multipart
然后,构建一个由字节数组和其他信息(如原始文件名和媒体类型)组成的资源对象,用于作为 HTTP 请求的一部分。
2023-10-14 13:42:47
1423
1
原创 int(11)在MySQL中意味着什么?
默认情况下,每种整数类型的数量与该类型的最大负值中的字符数相同。同样,对于 BIGINT,默认显示宽度是 20,它等于最大负 BIGINT 中的字符数 (-9223372036854775808)。应用程序可以获取元数据以获取列的显示宽度,然后将其用于设置列的宽度或显示列中的数字等。关于int(11)在MySQL中的含义,一个非常常见的误解是,该列可以存储长度为11位的最大整数值。11是整型列的显示宽度,与字符列不同,其中数字表示可以存储的字符数。对于整数类型的列,括号中的数字称为字段的显示宽度。
2023-09-13 09:29:28
1777
转载 深入理解Prometheus rate irate increase
因此,在用计数器绘制图形或做任何其他事情之前,您通常希望将其包装在类似rate(),的函数中irate(),或者increase()查看计数器上升的速度。irate()(“instant rate”):计算每秒的增长率,就像计算一样rate(),但只考虑在提供的时间窗口下的最后两个样本进行计算,并忽略所有较早的样本。为了不将这些重置解释为实际的负利率,与计数器相关的函数具有检测和处理这些重置的逻辑:在提供的时间窗口下迭代样本时,函数检查是否有任何样本的值低于前一个,并将这种情况解释为计数器重置。
2023-02-16 09:17:52
808
原创 Flink on Yarn 模式 提交作业以及TaskManager内存配置
内存分为整个container内存、flink内存。其中内存类型又分为堆内存和堆外内存。JVM Metaspace :默认256M;JVM Overhead内存:默认整个container内存的0.1;最大值为1G,最小值为192M,如果计算出来的内存大小不在此区间范围内,按照最小值/最大值 分配;例如计算的结果为128M,实际按照192M分配;计算结果为1.2G,实际按照1G分配;
2022-12-09 14:39:41
1000
原创 flink 1.16.0上传jar报错
部署方式 Application Mode On Yarn。错误Caused by: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory
2022-11-21 17:36:36
1086
原创 Metabase使用clickhouse数据库时区异常问题解决
这个是 clickhouse.metabase-driver 的一个bug,最新版本也不能解决此问题。
2022-11-01 15:48:52
642
转载 hive group by | distinct区别以及性能比较
高版本的hive,对distinct进行了优化,其执行计划和group by的一样,已经不会出现低版本的一个reduce现象,运行时间也相差无几。而group by则会被hive翻译成分组聚合运算,会有多个reduce任务并行处理,每个reduce对收到的一部分数据组,进行每组聚合(去重)但是不明确用的hive版本是否优化了distinct的情况下,用group by 进行去重是不会有问题的。默认情况下,distinct会被hive翻译成一个全局唯一reduce任务来做去重操作,因而并行度为1。
2022-10-21 10:59:19
289
原创 DBeaver连接hive kerberos
配置 jdbc:hive2://{host}:{port}/{database}/;驱动 org.apache.hive.jdbc.HiveDriver。
2022-10-18 15:16:07
1109
转载 Ubuntu 18.04每次打开命令行都要重新source profile的解决方法
在Ubuntu 18.04.1 LTS操作系统下配置了JAVA环境,每次重新打开命令行都要重新source profile,以下是该问题的原因分析及解决方法、注意事项。产生该问题的原因分析和记录1.bashrc是在系统启动后就会自动运行。2.profile是在用户登录后才会运行。3./etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量。延伸:login shell与non-login shell1.n
2022-05-10 08:19:34
1648
转载 springboot 定时执行
每天凌晨2点 0 0 2 * * ?和每天隔一小时 0 * */1 * * ?例1:每隔e69da5e887aa32313133353236313431303231363533313333656436625秒执行一次:*/5 * * * * ?例2:每隔5分执行一次:0 */5 * * * ?在26分、29分、33分执行一次:0 26,29,33 * * * ?例3:每天半夜12点30分执行一次:0 30 0 * * ? (注意日期域为0不是24)每天凌晨1点执行一次:0 0 1 * * ?每
2022-05-10 08:18:53
893
转载 springboo 定时执行
每天凌晨2点 0 0 2 * * ?和每天隔一小时 0 * */1 * * ?例1:每隔e69da5e887aa32313133353236313431303231363533313333656436625秒执行一次:*/5 * * * * ?例2:每隔5分执行一次:0 */5 * * * ?在26分、29分、33分执行一次:0 26,29,33 * * * ?例3:每天半夜12点30分执行一次:0 30 0 * * ? (注意日期域为0不是24)每天凌晨1点执行一次:0 0 1 * * ?每
2022-05-05 14:24:47
631
原创 Elasticsearch6.4.1安装
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearchelasticsearch.repo /etc/yum.repos.d/[elasticsearch-6.x]name=Elasticsearch repository for 6.x packagesbaseurl=https://artifacts.elastic.co/packages/6.x/yumgpgcheck=1gpgkey=https://arti.
2022-04-22 14:02:14
155
原创 JAVA常用操作
Java 数组转List的几种方法//1. Array 转 ListString[] arr = {"a", "b", "c"};List<String> list = Arrays.asList(arr);System.out.println(JSONObject.toJSONString(list));// 使用Arrays.asList生成的list是定长的,无法增加或删除元素,调用add或remove方法会抛出UnsupportedOperationException异常/
2022-04-20 14:54:26
363
原创 IDEA 使用技巧
1. idea展开折叠类中所有方法展开:ctrl + shift + =折叠:ctrl + shift+ -2. Idea中设置注释位置——自动缩进到合适位置
2022-03-24 14:32:16
692
转载 使用 Java 8 Streams 和 Spring Data JPA 流式处理 MySQL 结果
从 1.8 版开始,Spring 数据项目包含一个有趣的特性——通过一个简单的 API 调用,开发人员可以请求数据库查询结果作为 Java 8 流返回。在技术上可行并得到底层数据库技术支持的情况下,结果将被逐一流式传输,并可用于使用流操作进行处理。此技术在处理大型数据集(例如,以特定格式导出大量数据库数据)时特别有用,因为除其他外,它可以限制应用程序处理层的内存消耗。在本文中,我将讨论 Spring Data 流与 MySQL 数据库一起使用时的一些好处(和陷阱!)。从数据库中获取和处理大量数据(更
2022-03-09 13:33:43
2062
转载 SpringCloud Gateway 整合Springfox/SwaggerUI3 之后调用某一个服务的接口时,请求路径不会加上对应的服务名问题
转载 https://blog.csdn.net/weixin_43356507/article/details/115537098 SpringCloud Gateway 整合Springfox/SwaggerUI3 之后调用某一个服务的接口时,请求路径不会加上对应的服.
2022-03-08 16:13:24
1990
转载 logback.xml和logback-spring.xml的区别
logback和logback-spring.xml都可以用来配置logback,但是2者的加载顺序是不一样的。logback.xml—>application.properties—>logback-spring.xml.logback.xml加载早于application.properties,所以如果你在logback.xml使用了变量时,而恰好这个变量是写在application.properties时,那么就会获取不到,只要改成logback-spring.xml就可以解决。——
2022-03-03 09:26:20
837
转载 SpringBoot各种Web容器服务的AccessLog配置
转载 https://www.jianshu.com/p/3f3338d8387a完整代码参照(以Tomcat为容器):https://github.com/biticcf/ocean-sea-platform.gitSpringBoot内置支持的Web容器有Tomcat、Undertow、Jetty和Netty,默认情况下,这些Web服务的Access日志是不开启的,而Access日志对于我们做接口统计尤为重要。如果我们想开启这些日志,需要作如下配置:1,Tomcat容器日志配置SpringBo
2022-03-02 16:08:11
1014
原创 SpringSecurity登录后重定向到登录前访问页面策略
RequestCacheAwareFilter只负责从缓存中提取缓存的请求,并转发到该请求览器发出的请求优先被拦截器RequestCacheAwareFilter拦截,RequestCacheAwareFilter通过其持有的RequestCache对象实现request的恢复。public class RequestCacheAwareFilter extends GenericFilterBean { private RequestCache requestCache; public
2022-03-02 09:21:40
1053
转载 关于springboot中添加Filter的方法
第一种@ServletComponentScan 所扫描的包路径必须包含该Filter@WebFilter(filterName = "myFilter",urlPatterns = "/*")public class MyFilter implements Filter { @Override public void init(FilterConfig filterConfig) throws ServletException { } @Override
2022-03-01 17:57:09
2129
转载 Spring Security @PreAuthorize 拦截无效
antMatchers("/demo/user-list").access(“hasRole(‘ROLE_Admin’)”)可以被正常拦截,说明是方法拦截没有生效。如果是基于xml,则需要在配置文件中加上:<security:global-method-securitypre-post-annotations=“enabled” proxy-target-class=“true” />换成Annotation方式以后,则需要使用***@EnableGlobalMethodSecur
2022-03-01 11:10:02
929
转载 hive 表锁、分区锁
场景:在执行insert into或insert overwrite任务时,觉得hive速度有点慢,中途手动将程序停掉,改成了spark的引擎继续跑数,然后出现卡死情况(无法提交MapReduce),只能执行查询操作,而drop insert操作均执行不成功,无论执行多久,都会保持卡死状态。原因:hive表被锁或者某个分区被锁,需要解锁。hive存在两种锁,共享锁Shared (S)和互斥锁Exclusive (X)。其中只触发s锁的操作可以并发的执行,只要有一个操作对表或者分区出发了x锁,则该表或
2021-12-31 11:10:20
1873
原创 Spring Cloud 2020 服务自动注册以及取消自动注册
Spring Cloud 2020 服务自动注册以及取消自动注册文章目录Spring Cloud 2020 服务自动注册以及取消自动注册一、引入服务发现maven依赖后自动注册到注册中心二、取消自动注册的方法1.设置 spring.cloud.service-registry.auto-registration.enabled=false2.使用注解@EnableDiscoveryClient(autoRegister = false)总结提示:以下是本篇文章正文内容,下面案例可供参考一、引入服
2021-07-12 14:25:38
1869
1
转载 elasticsearch中bucket_script聚合父级必须是多桶聚合
elasticsearch中bucket_script聚合父级必须是多桶聚合转载于https://blog.csdn.net/qq_28851503/article/details/98313933场景业务需求中,在计算人均通话数时,使用聚合的时候使用到了内联以及反内联聚合,当bucket_script聚合作为反内联reverse_nested的子聚和的时候,会报如下错误:org.elasticsearch.ElasticsearchException: Elasticsearch ex.
2020-11-12 14:15:31
502
原创 ElasticSearch异步删除_delete_by_query
ElasticSearch异步删除_delete_by_queryES删除数据时经常会超时,使用异步task方式删除,将任务存入后台执行。执行后台删除 wait_for_completion=falseGET uint/_delete_by_query?wait_for_completion=false{ "size": 20, "timeout": "1200s", "query": { "bool": { "must": [ {
2020-10-20 16:29:53
3657
原创 arthas tomcat 监控
arthas tomcat 监控标题报错:java -jar arthas-boot.jar[INFO] arthas-boot version: 3.1.7[INFO] Found existing java process, please choose one and hit RETURN.[1]: 28821 org.apache.catalina.startup.Bootstrap[2]: 24748 com.alibaba.otter.canal.deployer.CanalLaun
2020-10-15 11:52:33
2518
转载 java.io.IOException 断开的管道 解决方法 ClientAbortException: java.io.IOException: Broken pipe
转载于:https://blog.csdn.net/zqz_zqz/article/details/52235479今天公司技术支持的童鞋报告一个客户的服务不工作了,紧急求助,于是远程登陆上服务器排查问题。 查看采集数据的tomcat日志,习惯性的先翻到日志的最后去查看有没有异常的打印,果然发现了好几种异常信息,但是最多还是这个: 24-Nov-2016 09:54:21.116 SEVERE [http-nio-8081-Acceptor-0] org.apache.t...
2020-09-29 16:51:03
5894
1
原创 flume 报错org.apache.flume.ChannelFullException: Space for commit to queue couldn‘t be acquired. Sinks
在CDH中运行flume用于nginx日志采集source:kafka 日志数据存储在kafka中channel: memory channel 基于内存sink: elasticsearch (es)偶尔会发生,数据无法写入Elasticsearch的问题,channel中堆积的数据达到预设值,但是sink到es却停止了,一条数据也不进行写入。查询日志发现:ERROR org.apache.flume.source.kafka.KafkaSource: KafkaSource EXCE
2020-09-27 11:35:02
823
转载 Kafka从上手到实践-Kafka集群:Kafka Listeners
转载于http://www.devtalking.com/articles/kafka-practice-16/这一章节主要对和Listener相关的四个配置项做以详细解释。listeners、advertised.listeners、listener.security.protocol.map、inter.broker.listener.name这四个配置项可能是大家最容易混淆和最不容易理解的。在解释这些配置项之前,我们先来明确几个概念。部署Broker的阿里云ECS称为Host Ma..
2020-09-24 16:47:39
1331
转载 为什么kafka客户端需要配置 /etc/hosts文件
问题背景前段时间,遇到一个kafka集群部署在k8s中,而kafka客户端在另一个k8s集群的pod的容器中,kafka集群中配置的advertised_listeners便是hostname。然而当时我只知道kafka集群的ip地址,当在客户端直接使用ip操作broker的时候便报错无法解析一个hostname。 当时不知道什么原因,只听同事说需要在kafka客户端对应的yaml文件中添加HostAliases字段然后重新部署kafka客户端所在的pod。 然后便可以访问了。 不明所以然的我,查了
2020-09-24 16:16:20
8262
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人