- 博客(112)
- 收藏
- 关注
RSS订阅原创 【已解决】libproj.so.12: cannot open shared object file: No such file or directory
我是在使用go的github.com/pebbe/go-proj-4/proj进行投影转换时遇到的问题。但是在搜索时发现这个问题与语言、以及依赖的库没有关系，应该是一个环境变量问题，因此如果读者是在开发其他程序（比如python程序）时也可以借鉴。
2023-12-30 11:41:33
911
原创 flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1
注意三个容器都映射了/opt/flink目录。docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。其次，username和password的双引号不需要写反斜杠，写反斜杠反而会报错。，分别放入上述三个文件夹的lib目录下。⑤后面的username和password需要根据实际情况修改。②标识的字段为topic中存储的字段，根据自己topic来。①标识字段为kafka自带字段，topic中没有也会自带。三个文件夹内容是一样的，只是名字不一样。
2023-12-20 10:01:30
2169
6
原创 【kafka-ui】支持kafka with kraft的可视化集群管理工具
支持kafka3.3.1的kafka可视化客户端，并且可以连接带认证的kafka集群
2023-01-03 22:03:33
8132
3
原创 Java 图像压缩库thumbnailator压缩图片未生效问题
前言thumbnailator是一个java的缩略图生成库，不仅能生成缩略图，还能对图片进行裁剪、打水印、旋转、缩放等等。依赖如下： <dependency> <groupId>net.coobird</groupId> <artifactId>thumbnailator</artifactId> <version>0.4.16</ve
2022-01-14 15:23:47
1554
原创 Idea快捷键
前言本文不会讲idea所有快捷键对应的功能，会记录我自己不太常用的快捷键以及查找、修改快捷键的方法。查找/修改快捷键查找需要的快捷键（以删除一行为例）比如我要查找删除一行代码的快捷键，百度时候查到的都是Ctrl+Y但是这是Windows系统的，我的是Mac，怎么按都不管用。所以我自己查找了一下。首先打开设置页面，Windows快捷键Ctrl+alt+s，mac快捷键command+,然后按照如下四步来：在左侧搜索栏搜锁keymap找到keymap设置选项卡以后点击在右侧搜索框中搜索你要的功
2021-10-11 11:46:17
173
原创 通过JSONObject在不强制类型转换的情况下获取带泛型的对象
前言阿里的fastjson好用是，但是只适合存储一些简单类型，如果存储复杂的带有泛型的类型，还挺麻烦的。特别是在往外取数据的时候。下面是取一些复杂类型的方式。取出对象取出没有泛型的对象类AAA aaa= data.getObject("info", AAA.class);取出有泛型的对象类List<Float> info = data.getObject("info", new TypeReference<List<Float>>() {});...
2021-08-18 14:47:19
1070
原创 Springboot深度集成Redis
前言之前没怎么用过Redis，对Springboot集成Redis不是非常熟悉。在动手集成的时候又发现集成的有Jedis和Lettuce两种客户端。想改设置都不知道如何下手。索性就研究了一番。在 springboot 1.5.x版本的默认的客户端是 Jedis实现的，springboot 2.x版本中默认客户端是用 lettuce实现的。Jedis和 Lettuce是 Java操作 Redis的客户端。在 Spring Boot 1.x 版本默认使用的是 jedis，而在 Spring Boot 2.
2021-07-02 15:10:17
322
2
原创 Springboot集成Redis实现发布订阅功能（Java Lettuce客户端）
Redis 发布订阅架构Redis的发布订阅机制包括三个部分，发布者，订阅者和Channel，这里的Channel类似于Kafka中的topic的概念。发布者和订阅者都是Redis客户端，Channel则为Redis服务器端，可以理解为一种特殊的数据存储结构。发布者将消息发送到某个的频道，订阅了这个频道的订阅者就能接收到这条消息。Redis的这种发布订阅机制与基于主题的发布订阅类似，Channel相当于主题。使用Java Lettuce客户端实现Redis发布订阅发布者消息发布者的代码很简单，
2021-07-02 10:43:18
1347
原创 Springboot xxx.properties配置文件配置list属性（2021-07-01）
Springboot项目是支持yaml格式的配置文件的。yaml格式配置文件比较强大，可以配置列表、对象等属性，但是propertis配置文件功能比较弱，默认是无法支持list属性的，但是我们可以配合Springboot@Value注解一起使用来读取list配置文件。比如最近的一个需求是在Springboot项目中使用多个Redis数据库。打算将需要的数据库编号以一个列表的形式组织配置。# redis数据库列表spring.redis.databases=1,2,3,4,5Java代码// 注入
2021-07-01 16:45:07
3091
原创 elasticsearch7实战（四）——单条件查询
前言从本篇文章开始将开始介绍ES的查询语法。相比于SQL，ES的查询语法可以说非常难以记忆。但是通过学习我发现也并非无迹可寻。从本篇开始的以后几章将着重介绍ES的查询语法。本篇将介绍的是ES最基本的查询——单个条件的查询语句。查询语法1. 根据id查询//其中index_name表示要查询的索引，doc_id表示要查询文档的id。后面的filter_path在上一章有讲过，如果忘记可以进行查看。http://{{ _.es_url }}/{index_name}/_doc/{doc_id}?fi
2021-06-30 21:41:52
554
3
原创 elasticsearch7实战（三）——通用选项
前言在正式开始讲ES的查询语句之前，想先说一些有用的参数。这些参数并不是查询的核心，但是可以让查询结果更加符合用户需要。这里讲的参数打都既可以放到url中作为url参数，也可以在发送post请求的时候作为post请求的请求体的一部分。通用选项1.格式化输出格式化输出指让es的返回结果更具有可读性。主要有两个pretty=true和vhttp://{{ _.es_url }}/_cat/indices?v在url参数添加一个v字母可以让输出结果带有表头。比如上一节在讲es元信息查询的时候，可以看
2021-06-29 21:26:48
646
1
原创 elasticsearch7实战（二）——ES元信息查询
前言在上一篇文章中着重介绍了ES的数据读写模型。是一篇纯理论的文章，为什么先写这样一篇文章呢，主要与我个人的学习习惯有关——学习任何东西首先要大致明白他的基本概念和原理。ES中涉及的基本概念相对比较少就没有单独摘出来讲，如果有必要后期可能会加上。所以上一篇文章主要介绍了数据读写，从本章开始进入查询语法的介绍。元信息查询本章节中为了统一风格和避免敏感信息泄露，我会将es的ip:port字符串使用{{ _.es_url }}代替。所有元信息查询的api都以_cat开头。1.查询所有元信息api。顾名
2021-06-28 20:45:17
829
2
原创 elasticsearch7实战（一）——ES读写模型
前言在学ES之前先学习的hadoop、hbase、kafka这些分布式存储框架。再学ES的时候有很多可以类比的地方，但是也有很多跟其他框架不太一样的地方，感觉有些别扭。比如副本概念的些许偏差。在hadoop、HBASE、kafka中，副本是没有主从区别的，因此再说有几个副本的时候基本就是在说同一份数据有几份。比如我们说hadoop有三个副本，意思就是同一份数据有三份，他们之间互为备份。但是在ES中，感觉副本约定俗称的概念跟上面并不一致。因为ES是有主从副本之分的。如果说某个数据有两个副本，那么大概率是
2021-06-27 21:26:48
608
1
原创 flink连接需要密码认证的elasticsearch7
前言flink官网有连接es的案例，但是官网案例没有带认证，几经辗转终于找到带认证的sink到es的方式。需要可以参考。代码maven依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticsearch7_2.11</artifactId> <version>1.13.0</versi
2021-06-25 13:32:35
3494
6
原创 本地jvm执行flink程序带web ui
使用StreamExecutionEnvironment executionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment();可以获取flink执行环境。但是本地jvm执行的时候是不带web ui的。有时候出于监控的考虑，需要带着监控页面查看。任务运行状况，可以使用下面方式获取flink本地执行环境，并带有web ui。Configuration config = new Configuration();config.
2021-06-24 11:23:27
401
原创 Flink消费Redis Stream数据
前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。装一套kafka集群可以吗。由于业务长期的累积，引入一套全新的架构真的是难如登天。所以只能委屈求全，在我们的业务系统中准备使用redis作为flink的数据源。幸运的是，在redis5中已经有原生支持消息队列的数据存储结构了，即stream。但是现在网上介绍和使用redis stream的并不多。常用的r
2021-06-20 19:34:57
985
1
原创 Typora+Gitbook写作并导出pdf
安装Gitbook1.首先安装node，查看版本node -v# v12.16.12.安装gitbook，查看版本npm install gitbook-cli -g# 查看版本gitbook -VCLI version: 2.3.2GitBook version: 3.2.3Gitbook基本操作gitbook安装成功以后就可以进行操作了，使用Typora就可以。1.初始化一本书# 执行init命令会在当前目录下创建README.md和SUM...
2021-06-05 17:37:59
870
1
原创 Springboot的server.port和server.http.port
需求最近springboot项目为了安全启用了https，但是项目中还写了接口供其他程序调用，这个接口必须是http的。研究发现原来一个springboot项目shi
2021-05-31 09:27:22
4685
原创 Flink学习2——word count程序
本文比较简单，是大数据入门的基本程序——word count。程序虽然简单，但是麻雀虽小，五脏俱全，这里面包含了Flink程序最最基本的组件。
2021-05-30 16:10:10
622
原创 Flink学习1——运行时架构(standalone模式)
Flink系统是主从模式，主要有两个组件构成分别是JobManager（Master）和TaskManager（Slave）。组件之间的通信借助于Akka。下图是standalone模式下的运行时架构图 JobManager相当于Yarn中的ResourceManager，TaskManager相当于Yarn中的NodeManager，TaskSlot相当于Yarn的Container，上图相当于spark的Standalone，需要Flink自己管理资源的情况。类别归类比，最终Flink的Tas
2021-05-30 15:33:42
1015
原创 ES查询字符串query_string的使用（2021-05-27）
0. 前言查询字符串有一点写SQL的影子了，相对来说查询比较方便。查询分为三层嵌套结构，首先最外层的query，表示查询上下文，query_string地位跟match、term相同，表示查询类型，内层的query表示查询条件。1.OR条件查询下面使用的是or条件进行查询，即地区要么是山东省东营市要么是宁夏回族自治区吴忠市，但是必须要注意的是OR和后面要讲的and都必须要大写{ "track_total_hits":true, "query":{ "query_str
2021-05-27 19:40:49
4060
原创 Springboot集成Flink——本地方式运行Flink jar包
前言首先有一个问题，Flink程序可以在idea中正常运行，但是将Flink打成jar包，使用java -jar的方式运行jar包就会报错。这个问题一直没有解决。正好最近遇到这样一个场景，需要将flink程序集成到Springboot程序中（不要问为啥要在本地执行flink程序，不上集群），集成完以后没想到效果出奇的好，Springboot程序可以正常运行，flink程序也可以通过jar的方式启动了。下面是集成过程。Springboot集成Flink第一步，创建Springboot项目。
2021-05-18 00:14:05
6717
12
原创 maven打包所有依赖并指定运行主类
maven打包所有依赖并指定运行主类，本来应该是挺容易一件事，但是网上找的打都有点问题，这里记录一下。<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifac
2021-05-17 22:46:50
1975
1
原创 HTTPClient简单使用
概述HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java net包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。参
2021-05-15 19:02:16
185
原创 【已解决】HttpClient访问不安全的https链接报错:SSLHandshakeException
前言正常情况下，Java使用httpclient访问http或者https请求都是没有问题的，但是如果https请求的证书是未经过认证的，就会报错Exception in thread "main" javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBu
2021-05-15 17:03:44
11990
3
原创 ssh命令使用总结
前言为了安全起见，公司服务器只给开放了一个ssh端口其他服务器通过跳板机登录，这样难免会造成一些不便，但是ssh总体还比较强大，可以通过配置，方便容易的进行登录。也可以通过端口转发访问内网指定端口，总体来说比较方便。配置ssh免密登录1.指定使用rsa算法生成公钥# 其中rsa表示密码算法，执行下面命令会在~/.ssh目录下生成公钥ssh-keygen -t rsa2.将公钥拷贝到指定服务器对应位置拷贝过程中会提示需要输入服务器的密码，输入正确密码即可拷贝成功。#.
2021-05-15 09:22:31
740
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人