墨者大数据-CSDN博客

直接上图：显示有多个slf4j, 解决方法如下：  <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> <exclusions>

2022-05-18 12:08:09 261

java项目启动后生成的图案很不错，下面把网址给到大家，可以看看，选择不同的字体样式： http://patorjk.com/software/taag http://www.network-science.de/ascii/ http://www.degraeve.com/img2txt.ph http://patorjk.com/software/taag http://www.network-science.de/ascii/ http://www.degraeve.com/img2txt.php .

2022-05-10 19:16:07 2541

原创 springboot集成mq启动不了，可能的解决方法

上异常： "D:\Program Files\Java\jdk1.8.0_201\bin\java.exe" -XX:TieredStopAtLevel=1 -noverify -Dspring.output.ansi.enabled=always -Dcom.sun.management.jmxremote -Dspring.jmx.enabled=true -Dspring.liveBeansView.mbeanDomain -Dspring.application.admin.enabled=true

2022-04-15 12:15:36 2049

原创 flink设置checkpoint部署后一直重启，出现检查点无法写入的问题

问题描述项目一共有7个应用程序，只有其中一个程序出现检查点问题，参数配置都相同。 flink部署后的异常为： org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 最终发现这个提示是没有用的，最后经过一番艰苦的努力，终于解决了问题，这里直接上干货。问题原因：由于这个程序连接的数据库比较多，可能会出现这个检查点没有做完，被丢弃掉，又重新开始了一个，循环往复。导致的问题.

2022-04-07 13:59:45 3814

原创非对称加密异常:java.lang.IllegalArgumentException: Illegal base64 character 20

1.出现上述问题的原因：非对称加密的密文有 "+" , 再网络传输的时候（通过url）,传递到后端时 "+" 被替换为 " "。后端解析错误。需要将空格进行替换。 PKCS8EncodedKeySpec pkcs8EncodedKeySpec = new PKCS8EncodedKeySpec(Base64.getDecoder().decode(Constant.PRIVATE_KEY)); KeyFactory keyFactory = KeyFactory.getInstance("RSA");

2022-03-23 20:28:09 4171

原创 vuex之刷新页面时token丢失问题

前端项目，使用vuex作为状态存储，但是遇到一个问题，就是在刷新页面时出现了丢失token的问题，下面给出完美的解答： 1.可以使用缓存将vuex中的state缓存起来，可以使用localStorage和sessionStorage。cookie不适合存储。 localStorage是长期存储，sessionStorage是会话期间存储，这里使用sessionStorage. 在这里插入图片描述 2.上代码 App.vue中添加 mounted()和methods，在刷新的时候进行持久化。 <te

2022-03-14 22:32:30 5644

原创 CDH中出现hbase错误：org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

问题：org.apache.hadoop.hbase.PleaseHoldException: Master is initializing xia 产生的原因：因为之前格式化了namenode，导致hbase出现问题，解决方法如下： CDH环境中：在终端输入： zookeeper-client：进入zookeeper，查看zookeeper中的hbase目录删除hbase节点的目录 rmr /hbase/meta-region-server 输入quit推出，重启hbase, 到此解决问题； .

2022-03-08 10:15:13 2798

原创 CDH中连接hbase时出现kerberos问题

CDH中连接hbase时出现上图的错误上面的提示涉及到了kerberos 在项目的pom.xml文件中添加如下依赖： org.apache.hadoop hadoop-auth 3.1.3 ![在这里插入图片描述](https://img-blog.csdnimg.cn/34098301970e4367bc2974b993851a52.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1N

2022-03-07 16:40:57 2175

原创 idea中怎么去掉项目中的.iml，.idea的文件

有些文件显示在项目中，感觉项目文件过多，观感不好。可以在下面的输入框中加入.iml和.idea

2022-03-05 13:34:18 2896

原创 DataGrip连接不上CDH中的hive,原因分析

安装好CDH之后，想使用DataGrip连接集群的hive,但是试了好多种方法都连接不上。最后才发现时jar的问题。在如下目录中查询jar包： /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars 使用如图的jar，就可以连接hive。连接之后就可以愉快的写sql了…… 下面附上比较详细的文档： https://blog.csdn.net/bing0008/article/details/121769303 ...

2022-02-11 17:40:17 2156

原创 springboot出现Factory method ‘sqlSessionFactory‘ threw exception； nested exception is java.lang.reflec

SpringBoot搭建环境时出现如下提示： Factory method 'sqlSessionFactory' threw exception; nested exception is java.lang.reflect.MalformedParameterizedTypeException 映射有问题，最后查找出时由于jar包冲突。如上图中，在导入mybatis依赖时出现重复导入的现象，所以遇到类似的问题，如果找不到答案时可以看看是不是jar包冲突造成的，这种问题，在我这个错误中比较难发现，希望

2022-02-10 19:22:56 19947 1

原创 springboot启动logo的设置相关

1.springboot项目中的输出的logo可以修改application.yml或者application.properties文件中的log的类型默认实在src/resources目录下的banner.txt文件 2. 生成logo的网站 https://www.degraeve.com/img2txt.php http://patorjk.com/software/taag http://www.bootschool.net/ascii 可以根据自己的喜好，选择不同的风格 ...

2022-02-10 17:28:10 749

原创 MySQL8.X误删除root@localhost的修复操作

浪费了整整一下午时间，才解决-------------> 出现的结果： mysql无法登录，试了多种方法都无法修改配置文件 #1.mysql所在的主机 vim /etc/my.cnf #在[mysqld]中添加如下配置 skip-grant-tables 2.重新启动 systemctl restart mysqld.service use mysql; 3.添加用户 insert into user(User,authentication_string,ssl_cipher,x509_is

2022-01-27 16:01:34 2861 3

原创 Intellij中Ctrl + / 注释靠左的解决方法

很好用，直接转载 https://blog.csdn.net/qq_41157588/article/details/106823214

2022-01-24 14:37:12 1030

原创 Linux和windows查询进程号号关闭进程操作

废话不说…… 1.首先传统的使用 ps -ef | grep 8082 查询，只能查询是否在运行，无法 kill -9 … 2. linux终端： 2.1 查看进程 netstat -tln #查看所有占用端口的使用情况 netstat -tln | grep 8082 # 查看8082端口的使用情况 2.2 查看被那个进程占用 lsof -i :8082 2.3 关闭进程 kill -9 进程ID Windows平台 3.1 查看进程号 netstat -ano # 显示所有被占用的端口

2022-01-20 17:36:13 886

原创 Centos7.x的yum源出现：failure: repodata/repomd.xml from flink-on-cdh: [Errno 256] No more mirrors to try

使用yum的什么命令都是报错，报错如下：如果出现上述的问题，可以在 /etc/yum.repos.d/ 目录是否存在或者目录中的文件是否存在，如果不存在，可以将其他主机的文件拷贝过去。这样即可解决问题，测试有效！！！ ...

2022-01-13 15:46:29 1525

原创 Kylin在创建Cube时出现 unkown queue:default（找不到默认队列）

为了在运行任务时取得资源隔离的作用，设置了不同的队列，这里我的集群为例，队列有：hive 、spark 、flink。环境：CDH集群， kylin采用tar包安装集成，需要手动启动。 kylin默认的队列是default; 查看日志报错如下解决方法：上面的问题时由于kylin中的默认队列是：default, 需要修改为yarn中的队列（本集群的yarn队列有hive, spark， flink）这里采用将kylin默认的yarn队列设置为hive, 需要在kylin的配置文件中添加配置，

2022-01-11 17:06:58 1002

原创在window上安装Kerberos客户端遇到的问题

1.客户端下载软件 http://web.mit.edu/kerberos/dist/ 2.记住在安装目录中寻找programData目录下的Kerberos5/krbt.cnf,不是在program files/MIT/kerberos/目录，这个很重要，否则会出现“cannot find default realm”的错误。

2022-01-05 16:42:53 693

原创 HUE的警告：必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。

警告：必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。步骤： 1.添加角色实例 2. 为Hbase Thrift Server选择主机 3.在HUE中选择HBase Thrift Server属性中选择服务器以使用Hue HBase Browser应用程序在界面上勾选即可。 ...

2022-01-04 14:53:50 1730

原创 HUE运行任务时出现“Unkown queue: deafult“,也就是找不到默认队列, 详解

1.删除默认的default队列后，新增spark，hive队列，需要修改不少地方，一个yarn，一个hive hive-site.xml，修改那些参数，我这里不做赘述，如果有需要可以留言我…… 上菜啦，上图是hue运行任务是出现错误. 解决方法如下：再次运行，就没有问题了！ ...

2021-12-30 15:47:07 1682

原创 CDH内存挑拨过度验证阈值（Memory Overcommit Validation Threshold）的解决方法

1.在集群页面上存在一个"红色的扳手" 首先，咱们先了解一下内存调拨过度是什么？阈值默认为0.8，假如，总内存如果为16G, 0.8*16=3.2,基本可以了，但是如果总内存为256，预留20%操作系统内存（51.2G）有点太多了。需要修改他的阈值。操作如下图：搜索 “Memory Overcommit”，我的主机内存为64G,留给系统的内存为： 49 * 0.2 = 5G,够用了！！！ java的堆内存大小可以自行查询！ ...

2021-12-28 13:43:14 2843

原创 CDH中出现Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr-x

1.CDH安完成之后，使用"hive"命令进入hive的操作页面，创建表之后，插入数据报错，原因：由于权限问题 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 问题解决方法有多种，但是现在使用的时CDH,所以要使用CDH的方式解决问题。从报错的数据得知，是由于没有访问hdfs的权限导致的。打开HDFS中的配置选项 ...

2021-12-27 16:54:32 2008

原创大数据仓储怎么实现高并发的框架选择，以及高并发的含义。。。。

在构建大数据架构时领导要求实现数仓数据的高并发查询，impala支持的并发数量为99。需要搭建一个高并发的查询架构，实现数据的实时查询。经过我的调研，发现采用Kylin+hadoop可以实现实时查询和高并发。大家可以试试看…… 附上并发的解释：[添加链接描述](https://www.cnblogs.com/xiaowenshu/p/10727523.html) ...

2021-12-14 13:13:29 1542

原创一篇文章熟悉flink中的checkpoint……

文章地址： https://blog.csdn.net/qq_43081842/article/details/112161557

2021-10-23 16:53:03 165

原创 sql中的group by和聚合函数哪些不得不说的事……

啥也不说了，先上代码： --数据装载 insert overwrite ads_sku_info select '2020-06-14' dt, source, target, count(*) from ( select concat('step-', step, ':', source) source, concat('step-', step+1,':', target) target from (

2021-09-16 16:49:12 350

原创 hive中的order by的用法及坑的所在

order by 后面是默认的是上无边界到当前行，但是如果有的行数的值相同，则会出现错误，今天就提醒一下： explode(partition by .. order by.. ),order by 后面最好跟上范围，这样就不会出现上述问题。

2021-09-13 17:00:22 1214

原创 SparkSQL之UDAF函数的定义以及实战应用案例！！！

sparkSql内置的函数有时可能无法满足需求，需要自定义函数，在sparkSql中有两种udf和udaf 下面是一个关于UDAF的实战案例：数据：创建user.json文件，将如下内容放入。 {"age":20,"name":"qiaofeng"} {"age":19,"name":"xuzhu"} {"age":18,"name":"duanyu"} import org.apache.spark.SparkConf import org.apache.spark.sql.expressions.

2021-08-30 20:41:00 704

空空如也

空空如也