自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

苍煜

把自己的经验分享给大家

  • 博客(270)
  • 收藏
  • 关注

原创 Spring Framework 的版本历史和JDK、Springboot对应关系

Spring从最初的一城一池,发展到如今已经发展为一个生态帝国,旗下拥有诸多的子项目,从最基本的Spring Ioc/AOP使用,到安全管理,再到 大数据,Spring已经逐渐的渗入到各个领域。

2024-11-22 17:41:31 1151

原创 SpringBoot项目部署时application.yml文件的加载优先级和启动脚本

多层级配置文件间的属性采用叠加并覆盖的形式作用于程序。如果同一个目录下,有application.yml也有application.properties,默认先读取application.properties。如果同一个配置属性,在多个配置文件都配置了,默认使用第1个读取到的,后面读取的不覆盖前面读取到的。先后加载顺序:若application 和bootstrap 在同一目录下:bootstrap先加载 application后加载。

2024-08-19 18:22:40 1530

原创 Flink流式框架过程问题

注:博主使用的版本就是:1.16.1

2024-08-05 14:35:52 745

原创 KAFKA-03-kafka 脚本命令使用详解

【代码】KAFKA-03-kafka 脚本命令使用详解。

2024-08-05 11:46:34 1139

原创 Flink异步IO 调用算法总是超时

记录一次使用Flink 异步调用IO 总是超时的bug注:博主使用的版本就是:<flink.version>1.16.1</flink.version>

2024-08-05 10:16:11 470

原创 Elasticsearch 中 _update_by_query 和 _delete_by_query

我们可以从tags属性中删除一个元素。请注意,为了避免运行时错误需要先判断是否存在待删除的元素。注:可以使用脚本在update API中用来改变_source字段的内容,它在更新脚本中称为:ctx._source。将_id 为 2的记录 userid 更新为6,nickname更新为 “王二”

2024-07-25 18:20:01 1140

原创 Flink -2-Flink 算子和java代码简单使用

文章目录DataSet 批处理算子一、Source算子1. fromCollection2. readTextFile3. readTextFile:读取压缩文件二、Transform转换算子1: map2:flatMap3:Filter 算子4:Reduce 算子5:Aggregations6:Distinct 算子7:First 算子8:Join 算子9:Outer Join 算子10:Cross 算子11:Union 算子三、Sink算子1. collect2. writeAsTextDataStre

2024-07-25 11:50:51 1152

原创 Flink -1- 简介和运行架构

这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink,也就在这个时候默默的发展着。在国外一些社区,有很多人将大数据的计算引擎分成了 4 代,当然,也有很多人不会认同。我们先姑且这么认为和讨论。

2024-07-24 16:31:12 4881

原创 Flink -3- 一文详解安装部署以及使用和调优(standalone 模式 | yarn 模式)

Yarn Application 与Per-Job 模式类似,只是提交任务不需要客户端进行提交,直接由JobManager来进行任务提交,每个Flink Application对应一个Flink集群,如果该Flink Application有多个job任务,所有job任务共享该集群资源,TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务,Yarn作为资源提供方,可以根据Flink任务资源需求动态的启动TaskManager来提供资源。

2024-07-24 11:58:44 4026

原创 项目实用linux 操作详解-轻松玩转linux

tar xxx.tar.gz 打包的内容命令参数:-c 建立新的压缩文件-f 指定压缩文件-r 添加文件到已经压缩文件包中-u 添加改了和现有的文件到压缩包中-x 从压缩包中抽取文件-t 显示压缩文件中的内容-z 支持gzip压缩-j 支持bzip2压缩-Z 支持compress解压文件-v 显示操作过程示列:tar -cvf log.tar 1.log,2.log 将1.log和2.log文件全部打成tar包。

2024-07-18 18:31:12 1144

原创 Docker 镜像使用和安装

Docker是一个开源的应用容器引擎;是一个轻量级容器技术;Docker支持将软件编译成一个镜像;然后在镜像中各种软件做好配置,将镜像发布出去,其他使用者可以直接使用这个镜像;运行中的这个镜像称为容器,容器启动是非常快速的。数据卷(volume) 是一个虚拟目录,指向宿主机文件系统中的某个目录。一旦完成数据卷挂载,对容器的一切操作都会作用在数据卷对应的宿主机目录了。

2024-07-18 10:14:07 6710 1

原创 elasticsearch 查询超10000的解决方案

scroll查询的相应数据是非实时的,如果遍历过程中插入新的数据,是查询不到的。并且保留上下文需要足够的堆内存空间。相比于 from/size 和 search_after 返回一页数据,Scroll API 可用于从单个搜索请求中检索大量结果。但是 scroll 滚动遍历查询是非实时的,数据量大的时候,响应时间可能会比较长适用场景全量或数据量很大时遍历结果数据,而非分页查询。scroll方案基于快照,不能用在高实时性的场景下,建议用在类似数据导出场景下使用。

2024-07-12 12:16:53 6047

原创 Mybatis-Plus一文详解BaseMapper和Service 使用

通用 Service CRUD 封装IService接口,进一步封装 CRUD 采用 get 查询单行、remove删除、list 查询集合、page查询分页。

2024-07-08 11:55:53 1799

原创 SpringBoot测试类注入Bean失败的原因

针对SpringBoot的测试类,2.2版本之前和之后是不一样的。

2024-07-07 11:47:30 1123

原创 Elasticsearch-ES查询单字段去重

整体数据。

2024-06-17 16:55:24 2269

原创 一文了解Simhash原理和用法-计算文章相似度

import com// 停用词 private static Set < String > stopWordsSet = new HashSet < >();// 词频权重 private static Map < String , Double > idfMap = new HashMap < String , Double >();// 平均idf private static double idfAverage = loadIdfDict(idfMap);

2024-05-11 11:18:43 2942 1

原创 ElasticSearch语句中must,must_not,should 组合关系

在实际应用中,发现当bool中同时使用must和should 没有达到想要的想过,而是只展示了must中的命中数据,所以打算探究一下bool中 三种逻辑关系的组合。上述查询语句只展示了must的结果,没有should中的结果,(我一开始以为是must 和 should 是交集的关系)

2024-04-26 16:09:51 3193 3

原创 ES 大数据量按照日期分索引存储和查询

ES 通常被用来存放各种日志数据或其他大批量数据,然后做统计。对于请求量大的系统来说,日志或其他业务数据无比庞大,需要按日期来划分索引,便于做冷热数据的迁移管理。大批量的业务数据也要根据日期来区分,提高检索效率。假设,日志数据按每日来分索引存储,索引名字格式:system_log_20240408,system_log_20240409 等来切分。查询时,使用别名system_log 或者 用多个索引联合查询。

2024-04-09 16:22:02 2100

原创 Elasticsearch-桶聚合查询详解

在之前我们详细面熟了es的查询用法,但是es还拥有强大的聚合查询功能,可以得到类似分组,直方图,折线图等数据组合。类似SQL的SUM、AVG、COUNT、GROUP BYElasticsearch-02-es的restapi使用ES聚合查询类似SQL的GROUP by,一般统计分析主要分为两个步骤:es中满足特定条件的文档的集合,叫做桶。桶的就是一组数据的集合,对数据分组后,得到一组组的数据,就是一个个的桶。ES中桶聚合,指的就是先对数据进行分组,ES支持多种分组条件,例如:支持类似SQL的group

2024-04-03 18:00:35 4385

原创 父子节点数据变为树结构工具类

当我们从数据库中查询出数据后,各数据中通过id,pid(父id)关联,我们需要将这些数据改为树型结构。这个工具类可以完全直接拿过去就用。

2024-03-28 09:39:55 296

原创 Nebula Graph-06-NebulaGraph Java 使用 和SpringBoot集成Nebula Graph

1:定义常量} }Getter;2:为了方便对结果的解析,再声明一个 NebulaResult 用来接收结果} }} }List;@Data。

2024-03-25 16:11:01 2035 3

原创 Nebula Graph-05-NebulaGraph nGQL和SQL区别

DDL(Data Definition Language,数据定义语言): 用于定义数据的结构,比如 创建、修改或者删除数据库对象。DDL操作的对象是表对比项SQLnGQL创建图空间(数据库)列出图空间(数据库)使用图空间(数据库)删除图空间(数据库)修改图空间(数据库)创建 tags/edgesCREATE TAG创建表列出表列名列出 tags/edgesSHOW TAGS修改 tags/edgeALTER TAG修改表。

2024-03-22 19:00:18 1179

原创 Nebula Graph-04-NebulaGraph nGQL的介绍和使用

nGQL是 NebulaGraph 使用的的声明式图查询语言,支持灵活高效的图模式,而且 nGQL 是为开发和运维人员设计的类 SQL 查询语言,易于学习。整体看下来,nGQL给我的感觉虽然是Nebula Graph 自己研发的语言,但是综合了mysql等关系数据库语言和java等高级编程语言整合而来的。内容太多,需要用心学习。NebulaGraph 独有 DQL 查询语句(Data Query Language)

2024-03-22 18:36:40 1687 1

原创 Nebula Graph-03-NebulaGraph Studio-可视化web工具安装和使用

NebulaGraph Studio(简称 Studio)是一款可以通过 Web 访问的开源图数据库可视化工具,搭配 NebulaGraph 内核使用,提供构图、数据导入、编写 nGQL 查询等一站式服务。产品功能¶使用 Schema 管理功能,用户可以使用图形界面完成图空间、Tag(标签)、Edge Type(边类型)、索引的创建,查看图空间的统计数据,快速上手 NebulaGraph。使用导入功能,通过简单的配置,用户即能批量导入点和边数据,并能实时查看数据导入日志。

2024-03-21 19:11:01 2717

原创 Nebula Graph-02-NebulaGraph高阶配置、用户管理、日志

现在我们来谈一下Nebula Graph 的各项配置。

2024-03-21 18:41:23 1500

原创 Nebula Graph-01-Nebula Graph简介和安装以及客户端连接

NebulaGraph 是一款开源的、分布式的、易扩展的原生图数据库,能够承载包含数千亿个点和数万亿条边的超大规模数据集,并且提供毫秒级查询。NebulaGraph 的优势开源高性能易扩展易开发高可靠访问控制生态多样化兼容 openCypher 查询语言面向未来硬件,读写平衡灵活数据建模广受欢迎(我觉得就是因为开源-免费的)适用场景欺诈检测实时推荐知识图谱社交网络。

2024-03-19 23:33:45 2830

原创 Elasticsearch中object类型与nested类型以及数组之间的区别

0、一般情况下用object 类型来查es中为json对象的字段数据,用nested来查es中为JsonArray数组类型的字段数据。1、默认情况下ES会把JSON对象直接映射为object类型,只有手动设置才会映射为nested类型2、object类型可以直接使用普通的逗号(.)查询,比如4、两种查询方式不兼容,如果大家想做改动的话,需要对java程序进行修改,风险比较大。5、存储方式不同。对象数组在后台是扁平化存储,嵌套对象数组是每个对象独立成文档存储。

2024-01-08 17:39:42 2288

原创 word导入导出-Apache POI 和 Poi-tl

poi-tl是一个基于Apache POI的Java库,用于操作Microsoft Office文档,包括Word文档(.docx)、Excel电子表格(.xlsx)和PowerPoint演示文稿(.pptx)。它提供了一组简单易用的API,使开发人员能够轻松地创建、读取和修改Office文档。简单易用:poi-tl提供了一组简单易用的API,使开发人员能够快速上手并进行Office文档的操作。它提供了丰富的方法和属性,以满足不同的需求。

2023-12-22 18:29:57 2848 1

原创 EasyExcel-最简单的读写excel工具类

easyExcel 的官网文档给的示例非常全,可以参考。

2023-12-08 18:28:04 1464

原创 从视频中截取指定帧图片

我们在很多时候需要对视频文件进行分析,或者对视频产生缩略图。因此视频截取技术必不可少。

2023-12-08 15:19:46 1569

原创 Elasticsearch-06-Elasticsearch Java API Client-Elasticsearch 8.0 的api

实体类@Data@ToString//创建文档final Produce produce = new Produce("123", "小明", 18);

2023-10-27 10:29:40 2268 1

原创 selenium 动态爬取页面使用教程以及使用案例

Selenium是一款功能强大的自动化Web浏览器交互工具。它可以模拟真实用户在网页上的操作,例如点击、滚动、输入等等。Selenium可以爬取其他库难以爬取的网站,特别是那些需要登录或使用JavaScript的网站。Selenium可以自动地从Web页面中提取数据,例如价格、评论、评分等等。Selenium是一款非常实用的工具,可以帮助用户更好地利用Web技术,提高工作效率和数据质量。

2023-09-05 10:36:44 4520

原创 Java请求Http接口-hutool的HttpUtil(超详细-附带工具类)

HttpUtil是应对简单场景下Http请求的工具类封装,此工具封装了HttpRequest对象常用操作,可以保证在一个方法之内完成Http请求。此模块基于JDK的HttpUrlConnection封装完成,完整支持https、代理和文件上传。

2023-08-18 13:52:36 41780 1

原创 Java请求Http接口-OkHttp(超详细-附带工具类)

简介:OkHttp是一个默认有效的HTTP客户端,有效地执行HTTP可以加快您的负载并节省带宽,如果您的服务有多个IP地址,如果第一次连接失败,OkHttp将尝试备用地址。这对于IPv4 + IPv6和冗余数据中心中托管的服务是必需的。OkHttp启动具有现代TLS功能(SNI,ALPN)的新连接,并在握手失败时回退到TLS 1.0,OkHttp支持Android 2.3及更高版本。对于Java,最低要求是1.7。

2023-08-17 18:44:41 14506 2

原创 Jsoup使用教程以及使用案例

jsoup 是一款基于 Java 的HTML解析器,它提供了一套非常省力的API,不但能直接解析某个URL地址、HTML文本内容,而且还能通过类似于DOM、CSS或者jQuery的方法来操作数据,所以 jsoup 也可以被当做爬虫工具使用,从网站获取dom结构,从而解析下载数据。tagname: 通过标签查找元素,例如通过"a"来查找< a >标签。#id: 通过ID查找元素,比如通过#logo查找< p id=“logo”>

2023-03-30 16:07:22 16290 1

原创 springboot-用dynamic-datasource-spring-boot-starter配置druid多数据源

在application.yml中配置xml扫描的路径和对应的其他配置。在项目中访问两个数据库,分别打印出来两个数据库的数据信息。主要的包是:苞米豆的dynamic的多数据源配置包。在主程序中配置扫描Mapper接口类的位置。

2022-10-14 18:54:45 6078

原创 Java请求Http接口-httpClient (超详细-附带工具类)

HttpClient是Apache Jakarta Common下的子项目,用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中,比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。下载地址: http://hc.apache.org/downloads.cgi。

2022-09-07 17:12:50 15925 1

原创 Spring Cloud Gateway 网关整合 Knife4j

当我们使用Knife4j来对服务的接口文档进行管理时是非常美观和舒服的;但是当系统中的微服务越来越多的时候,我们需要访问十几个端口,这是非常痛苦的;有没有一种办法可以将所有微服务的接口文档在同一个可视化页面进行展示,这样我们就可以统一管理了;为此我们可以通过SpringCloudGateway网关+注册中心nacos+Knige4j对所有微服务的接口文档进行统一管理。

2022-09-02 21:28:48 1253 1

原创 SpringBoot、SpringCloud、SpringCloudAlibab对应版本选择

为了避免SpringCloud版本号与子项目版本号混淆,SpringCloud版本采用了名称而非版本号的命名,这些版本的名字采用了伦敦地铁站的名字,根据字母表的顺序来对应版本时间顺序。我们已经选择好了springcloud和boot的版本,如果我们要加入springcloudalibab框架,也要重新考虑alibab框架的版本号,不过好在alibaba是阿里开源的,api也是中文的,非常容易看懂。有的朋友就说了,boot最新版本是2.7.3,cloud最新版本是2021.0.3,那是不是就这样选就可以了,

2022-09-01 20:57:12 10481 2

原创 最详细说明spring cloud和Spring Cloud Alibaba的联系和区别

我们通过对springboot的使用,就知道,spring从来不是重复造轮子,而是对现有技术的封装和维护,举个简单例子,比如最早spring只提供了IOC和AOP的核心功能,而像ORM框架、缓存、MVC框架,spring只是提供了一种兼容以及支持,所以当时大家说spring是万能胶,可以把各种各样的框架整合进来。同理,springcloud也不是自己开发组件,他也不是一个框架,因为Spring Cloud的核心并没有实现服务注册、熔断、配置中心等功能,它提供了一个标准规范。

2022-09-01 19:45:20 20897 4

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除