自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(94)
  • 收藏
  • 关注

原创 flink中interval join的flinkSQL实现以及状态的TTL过期时间

flink的interval join 、flinkSQL实现,以及state的TTL

2022-09-07 23:43:38 455

原创 Flink中CEP使用within时出现的问题(多条数据输入时没有数据输出的原因解释)

CEP中watermark应用实例

2022-09-06 18:09:51 327

原创 idea中搜索具体的字符内容的快捷方式

idea搜索内容快捷键

2022-07-28 14:53:27 273

原创 Idea打开项目后无法更改maven的目录

idea设置maven目录

2022-06-21 10:06:31 313 1

原创 Idea中出现Command line is too long错误

idea故障解决

2022-06-15 20:17:52 99

原创 yarn-per-job模式启动flink程序时出现程序无法实例化,connectd refused,无法创建检查点实例的原因

yarn-per-job启动程序时出现的问题

2022-06-13 10:10:08 183

原创 Centos7.x下安装mysql8遇到的问题Couldn‘t open file /etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022

在线安装mysql8遇到的问题

2022-06-07 10:58:39 779 2

原创 java中使用log4j2打印日志时出现两个框架的混用logback和slf4j

直接上图:显示有多个slf4j, 解决方法如下:<!-- starter --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> <exclusions>

2022-05-18 12:08:09 41

原创 java项目中的banner生成网址

java项目启动后生成的图案很不错,下面把网址给到大家,可以看看,选择不同的字体样式:http://patorjk.com/software/taaghttp://www.network-science.de/ascii/http://www.degraeve.com/img2txt.phhttp://patorjk.com/software/taaghttp://www.network-science.de/ascii/http://www.degraeve.com/img2txt.php.

2022-05-10 19:16:07 612

原创 springboot集成mq启动不了,可能的解决方法

上异常:"D:\Program Files\Java\jdk1.8.0_201\bin\java.exe" -XX:TieredStopAtLevel=1 -noverify -Dspring.output.ansi.enabled=always -Dcom.sun.management.jmxremote -Dspring.jmx.enabled=true -Dspring.liveBeansView.mbeanDomain -Dspring.application.admin.enabled=true

2022-04-15 12:15:36 701

原创 flink设置checkpoint部署后一直重启,出现检查点无法写入的问题

问题描述项目一共有7个应用程序,只有其中一个程序出现检查点问题,参数配置都相同。flink部署后的异常为:org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold最终发现这个提示是没有用的,最后经过一番艰苦的努力,终于解决了问题,这里直接上干货。问题原因:由于这个程序连接的数据库比较多,可能会出现这个检查点没有做完,被丢弃掉,又重新开始了一个,循环往复。导致的问题.

2022-04-07 13:59:45 2437

原创 非对称加密异常:java.lang.IllegalArgumentException: Illegal base64 character 20

1.出现上述问题的原因:非对称加密的密文有 "+" , 再网络传输的时候(通过url),传递到后端时 "+" 被替换为 " "。后端解析错误。需要将空格进行替换。PKCS8EncodedKeySpec pkcs8EncodedKeySpec = new PKCS8EncodedKeySpec(Base64.getDecoder().decode(Constant.PRIVATE_KEY));KeyFactory keyFactory = KeyFactory.getInstance("RSA");

2022-03-23 20:28:09 1281

原创 vuex之刷新页面时token丢失问题

前端项目,使用vuex作为状态存储,但是遇到一个问题,就是在刷新页面时出现了丢失token的问题,下面给出完美的解答:1.可以使用缓存将vuex中的state缓存起来,可以使用localStorage和sessionStorage。cookie不适合存储。localStorage是长期存储,sessionStorage是会话期间存储,这里使用sessionStorage.在这里插入图片描述2.上代码App.vue中添加 mounted()和methods,在刷新的时候进行持久化。<te

2022-03-14 22:32:30 2375

原创 CDH中出现hbase错误:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

问题:org.apache.hadoop.hbase.PleaseHoldException: Master is initializingxia产生的原因:因为之前格式化了namenode,导致hbase出现问题,解决方法如下:CDH环境中:在终端输入:zookeeper-client:进入zookeeper,查看zookeeper中的hbase目录删除hbase节点的目录 rmr /hbase/meta-region-server输入quit推出,重启hbase, 到此解决问题;.

2022-03-08 10:15:13 2271

原创 CDH中连接hbase时出现kerberos问题

CDH中连接hbase时出现上图的错误上面的提示涉及到了kerberos在项目的pom.xml文件中添加如下依赖: org.apache.hadoop hadoop-auth 3.1.3![在这里插入图片描述](https://img-blog.csdnimg.cn/34098301970e4367bc2974b993851a52.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1N

2022-03-07 16:40:57 1963

原创 idea中怎么去掉项目中的.iml,.idea的文件

有些文件显示在项目中,感觉项目文件过多,观感不好。可以在下面的输入框中加入.iml和.idea

2022-03-05 13:34:18 1286

原创 DataGrip连接不上CDH中的hive,原因分析

安装好CDH之后,想使用DataGrip连接集群的hive,但是试了好多种方法都连接不上。最后才发现时jar的问题。在如下目录中查询jar包:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars使用如图的jar,就可以连接hive。连接之后就可以愉快的写sql了……下面附上比较详细的文档:https://blog.csdn.net/bing0008/article/details/121769303...

2022-02-11 17:40:17 1311

原创 springboot出现Factory method ‘sqlSessionFactory‘ threw exception; nested exception is java.lang.reflec

SpringBoot搭建环境时出现如下提示:Factory method 'sqlSessionFactory' threw exception; nested exception is java.lang.reflect.MalformedParameterizedTypeException映射有问题,最后查找出时由于jar包冲突。如上图中,在导入mybatis依赖时出现重复导入的现象,所以遇到类似的问题,如果找不到答案时可以看看是不是jar包冲突造成的,这种问题,在我这个错误中比较难发现,希望

2022-02-10 19:22:56 5255

原创 springboot启动logo的设置相关

1.springboot项目中的输出的logo可以修改application.yml或者application.properties文件中的log的类型默认实在src/resources目录下 的banner.txt文件2. 生成logo的网站https://www.degraeve.com/img2txt.phphttp://patorjk.com/software/taaghttp://www.bootschool.net/ascii可以根据自己的喜好,选择不同的风格...

2022-02-10 17:28:10 476

原创 MySQL8.X误删除root@localhost的修复操作

浪费了整整一下午时间,才解决------------->出现的结果:mysql无法登录,试了多种方法都无法修改配置文件#1.mysql所在的主机vim /etc/my.cnf#在[mysqld]中添加如下配置skip-grant-tables2.重新启动systemctl restart mysqld.serviceuse mysql;3.添加用户insert into user(User,authentication_string,ssl_cipher,x509_is

2022-01-27 16:01:34 1395 2

原创 Intellij中Ctrl + / 注释靠左的解决方法

很好用,直接转载https://blog.csdn.net/qq_41157588/article/details/106823214

2022-01-24 14:37:12 251

原创 Linux和windows查询进程号号关闭进程操作

废话不说……1.首先 传统的使用 ps -ef | grep 8082 查询,只能查询是否在运行,无法 kill -9 …2. linux终端:2.1 查看进程netstat -tln #查看所有占用端口的使用情况netstat -tln | grep 8082 # 查看8082端口的使用情况2.2 查看被那个进程占用lsof -i :80822.3 关闭进程kill -9 进程IDWindows平台3.1 查看 进程号netstat -ano # 显示所有被占用的端口

2022-01-20 17:36:13 471

原创 Centos7.x的yum源出现:failure: repodata/repomd.xml from flink-on-cdh: [Errno 256] No more mirrors to try

使用yum的什么命令都是报错,报错如下:如果出现上述的问题,可以在 /etc/yum.repos.d/ 目录是否存在或者目录中的文件是否存在,如果不存在,可以将其他主机的文件拷贝过去。这样即可解决问题,测试有效!!!...

2022-01-13 15:46:29 1043

原创 Kylin在创建Cube时出现 unkown queue:default(找不到默认队列)

为了在运行任务时取得资源隔离的作用,设置了不同的队列,这里我的集群为例,队列有:hive 、spark 、flink。环境:CDH集群,kylin采用tar包安装集成,需要手动启动。kylin默认的队列是default;查看日志报错如下解决方法:上面的问题时由于kylin中的默认队列是:default, 需要修改为yarn中的队列(本集群的yarn队列有hive, spark, flink)这里采用将kylin默认的yarn队列设置为hive, 需要在kylin的配置文件中添加配置,

2022-01-11 17:06:58 623

原创 在window上安装Kerberos客户端遇到的问题

1.客户端下载软件http://web.mit.edu/kerberos/dist/2.记住在安装目录中寻找programData目录下的Kerberos5/krbt.cnf,不是在program files/MIT/kerberos/目录,这个很重要,否则会出现“cannot find default realm”的错误。

2022-01-05 16:42:53 209

原创 HUE的警告:必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。

警告:必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。步骤:1.添加角色实例2. 为Hbase Thrift Server选择主机3.在HUE中选择HBase Thrift Server属性中选择服务器以使用Hue HBase Browser应用程序在界面上勾选即可。...

2022-01-04 14:53:50 1195

原创 HUE运行任务时出现“Unkown queue: deafult“,也就是找不到默认队列, 详解

1.删除默认的default队列后,新增spark,hive队列,需要修改不少地方,一个yarn,一个hivehive-site.xml,修改那些参数,我这里不做赘述,如果有需要可以留言我……上菜啦,上图是hue运行任务是出现错误.解决方法如下:再次运行 ,就没有问题了!...

2021-12-30 15:47:07 1226

原创 CDH内存挑拨过度验证阈值(Memory Overcommit Validation Threshold)的解决方法

1.在集群页面上存在一个"红色的扳手"首先,咱们先了解一下内存调拨过度是什么?阈值默认为0.8,假如,总内存如果为16G, 0.8*16=3.2,基本可以了,但是如果总内存为256,预留20%操作系统内存(51.2G)有点太多了。需要修改他的阈值。操作如下图:搜索 “Memory Overcommit”,我的主机内存为64G,留给系统的内存为:49 * 0.2 = 5G,够用了!!!java的堆内存大小可以自行查询!...

2021-12-28 13:43:14 981

原创 CDH中出现Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr-x

1.CDH安完成之后,使用"hive"命令进入hive的操作页面,创建表之后,插入数据报错,原因:由于权限问题Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x问题解决方法有多种,但是现在使用的时CDH,所以要使用CDH的方式解决问题。从报错的数据得知,是由于没有访问hdfs的权限导致的。打开HDFS中的配置选项...

2021-12-27 16:54:32 1028

原创 大数据仓储怎么实现高并发的框架选择,以及高并发的含义。。。。

在构建大数据架构时领导要求实现数仓数据的高并发查询,impala支持的并发数量为99。需要搭建一个高并发的查询架构,实现数据的实时查询。经过我的调研,发现采用Kylin+hadoop可以实现实时查询和高并发。大家可以试试看……附上并发的解释:[添加链接描述](https://www.cnblogs.com/xiaowenshu/p/10727523.html)...

2021-12-14 13:13:29 1292

原创 一篇文章熟悉flink中的checkpoint……

文章地址:https://blog.csdn.net/qq_43081842/article/details/112161557

2021-10-23 16:53:03 42

原创 sql中的group by和聚合函数哪些不得不说的事……

啥也不说了,先上代码:--数据装载insert overwrite ads_sku_infoselect '2020-06-14' dt, source, target, count(*)from( select concat('step-', step, ':', source) source, concat('step-', step+1,':', target) target from (

2021-09-16 16:49:12 127

原创 hive中的order by的用法及坑的所在

order by 后面是默认的是上无边界到当前行,但是如果有的行数的值相同,则会出现错误,今天就提醒一下:explode(partition by .. order by.. ),order by 后面最好跟上范围,这样就不会出现上述问题。

2021-09-13 17:00:22 679

原创 SparkSQL之UDAF函数的定义以及实战应用案例!!!

sparkSql内置的函数有时可能无法满足需求,需要自定义函数,在sparkSql中有两种udf和udaf下面是一个关于UDAF的实战案例:数据:创建user.json文件,将如下内容放入。{"age":20,"name":"qiaofeng"}{"age":19,"name":"xuzhu"}{"age":18,"name":"duanyu"}import org.apache.spark.SparkConfimport org.apache.spark.sql.expressions.

2021-08-30 20:41:00 247

原创 算法之队列~使用数组模拟队列,详解!!!

下面介绍一下队列:1.队列是一个有序列表,可以用数组或者列表来实现2.遵循先入先出的原则3.队列示意图:从图中可以看出,队列有头部 front, 尾部:rear。队列的最大容量。在使用数组模拟队列的过程中,取数据时数组的数据并没有被删除,而是随着指针的移动,队列的的头部发生变化而引起队列数据的变化。这就是使用数组实现队列的效果。具体内容,可以自行品读其中玄妙…………上代码:// 使用数组模拟队列-编写一个ArrayQueue类 class ArrayQueue { privat

2021-08-26 10:36:02 91

原创 算法之~~~二维数组和稀疏数组之间的相互转换(棋盘、地图)

棋盘的结构如上图所示,将棋盘转换成二维数组,二维数组转换成稀疏数组,具有压缩的功能。具体代码如下:二维数组是:11 X 11稀疏数组:具有固定的散列,行数是二维数组中的值+1public class SparseArray { /** * @param args */ public static void main(String[] args) { // 创建一个原始的二维数组 11 * 11 // 0:表示没有棋子,1:表示黑子,2:表示蓝子 int chessArr.

2021-08-25 21:33:22 99

原创 Scala中的控制抽象、柯里化、尾递归的应用实例,详解!!!

今天给大家聊一聊关于Scala中比较重要的知识点,并且也是容易出错的,希望对大家有所帮助。首先,我们先了解一下控制抽象的概念:一些语句的聚集,也就是代码块。其中包括值传递和名传递。1.控制抽象:值传递举例:def ValueDelivery(name: String) = { println(s"你好 ${name}")}def toName(): String = { "小明"}val value: Unit = ValueDelivery(toName)print.

2021-08-13 18:14:59 50

原创 在启动kafka时要连接那台节点,以三台虚拟机为例 kafka-topics.sh --bootstrap-server

连接kafka时需要输入kafka节点名和端口:例如:kafka-topics.sh --bootstrap-server hadoop102:9092 --listkafka-topics.sh --bootstrap-server hadoop102:9092,haddoop103:9092,hadoop104:9092 --list这两种的启动效果是一样的,都是连接kafka集群。有人会问:kafka集群有leader和follower,为什么不直接连接kafka集群?无论连接哪个

2021-08-05 12:53:55 391 2

原创 java中的list集合的clear方法详解以及使用时遇到的问题

废话不多说,直接上代码------------------> String serialNo = "2118%000690;2118%000691;2118%000692;2118%000693;2118%000694;2118%000695;2118%000696;2118%000697;2118%000698;2118%000699;" + "2118%000700;2118%000701;2118%000702;2118%00

2021-06-08 13:53:43 2817 1

原创 VUE+elementUI前端分页,超详细!!!

之前一直在后端进行分页,使用的java中的pageHelper分页插件,但是用起来不是感觉很好。原因是:搜索和加载全部数据时,要区别是是搜索还是加载数据列表的状态。如果使用前端分页,则没有这个问题。不闲聊,直接上代码---->export default { data() { return { form: { searchContent: null }, table.

2021-05-27 15:05:49 1158 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除