自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(76)
  • 收藏
  • 关注

原创 Flink本地程序添加WEB-UI报错:.net.BindException: Could not start rest endpoint on any port in port range 8081

Flink程序启动报错。解决方案:添加如下代码。

2023-06-23 14:41:18 900

原创 Flink on Yarn启动报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yar

Flink on Yarn启动报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yar

2022-08-30 01:19:33 1051 1

原创 flink web-ui提交New Job报错Server Response Message: Internal server error.

flink web-ui提交New Job报错Server Response Message: Internal server error.

2022-08-29 21:57:47 1451

原创 Error: Assignments can only be reset if the group ‘group‘ is inactive, but the current state is Stab

原因:因为有消费者正在消费,没有关闭,把消费者关闭之后,重新移动指定分区的偏移量就好了.kafka将指定主题的指定分区的偏移量向前移动n(10)个消息的时候报错。

2022-08-12 22:23:32 3984

原创 海豚调度报错[ERROR] sql task error: java.sql.SQLException: The query did not generatea result set

2022-07-20 14:24:49 2327

转载 hive get_json_object json_tuple json解析详解

json是常见的数据接口形式,实际中使用也很广泛,下面我们看看怎么在hive中解析json格式。hive中常用的解析json格式的函数有两个:先看看get_json_object从上面可以看出,get_json_object输入的参数是两个,json_txt与path。其中,json_txt就是我们需要解析的json字符串,而path表示json中的"字段"。再看看json_tuple方法从上面的解释不难看出,json_tuple与get_json_object的用法很类似,唯一的区别是,json_t

2022-06-12 19:31:08 1069

原创 使用DataX将将数据从Hive同步到MySQL报错 获取表字段相关信息失败.]

报错内容经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-01], Description:[获取表字段相关信息失败.]. - 获取表:test 的字段的元信息时失败. 请联系 DBA 核查该库、表信息. - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column ‘c

2022-05-29 10:33:34 5291

原创 Linux使用tar命令解压压缩文件报错tar: Exiting with failure status due to previous errors

报错内容tar -zxvf aaa.txt.gztar: This does not look like a tar archivetar: Skipping to next headertar: Exiting with failure status due to previous errors排查过程查看文件属性file aaa.txt.gz2022032900.Change.txt.gz: gzip compressed data, from FAT filesystem (MS-DO

2022-03-29 16:45:24 7824

原创 ‘telnet‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。

报错内容再Windows的cmd中执行telnet命令报错:‘telnet’ 不是内部或外部命令,也不是可运行的程序或批处理文件。报错原因系统中的telnet是关闭状态解决方案打开Windows系统telnet命令,首先再搜索框搜索’telnet’,然后点击进入‘启用或关闭Windows功能’然后勾选上‘Telnet客户端’当看到显示‘Windows已完成请求的更改’,重新开一个cmd窗口重新执行一下telnet命令试一下。ok,完美解决,telnet命令可以使用了。...

2022-03-25 16:04:02 4729 1

原创 Linux操作系统中,crontab表达式调用hive报错hive: command not found

报错内容在Linux操作系统中,手动执行sh脚本没有任何问题,但是把sh脚本放到定时任务中,crontab定时任务调用sh脚本,sh脚本中有hive语句,在执行定时任务的时候,报错/home/hive/test/createtable.sh: line 15: hive: command not found原因在crontab中执行sh脚本,无法加载系统环境变量,找不到hive路径,所以报错hive: command not found解决方案在sh脚本首行添加source /etc/prof

2022-03-22 17:29:33 4627

原创 Kafka使用报错Subscription to topics, partitions and pattern are mutually exclusive

报错内容Exception in thread "main" java.lang.IllegalStateException: Subscription to topics, partitions and pattern are mutually exclusive at org.apache.kafka.clients.consumer.internals.SubscriptionState.setSubscriptionType(SubscriptionState.java:111) at org

2022-03-21 15:23:08 7711

原创 Win10Chrome调试安卓Chrome

一 手机端的准备:1 usb数据线,第一次连接电脑跟手机 可能还需要装驱动:2 打开开发者模式(设置->系统->关于手机->版本号 在版本号那一列连续敲七下 就可以启动开发者模式),打开选择USB配置,设置成USB连接(一定注意),具体手机连接可以不太一样 ,但是都需要设置成usb连接方式3 下载手机版谷歌浏览器,调试的时候 用的是谷歌浏览器二 电脑端:1 谷歌浏览器,访问: chrome://inspect/#devices2 open tab with url 你可以输

2022-03-18 23:03:01 4336

原创 Linux执行Shell脚本报错Permission denied

过程昨天在Linux执行Shell脚本的时候,把脚本执行结果写入到指定路径下的日志文件,然后报错sh /home/mysql/sql/test/test.sh param,param2,param3 >> $logsPath/testfile.log 2>&1-bash: /testfile.log: Permission denied原因因为这个脚本是从其他脚本中摘出来的一条语句,写入日志使用了变量logsPath,而单独摘出来,该变量没有定义,所以报错解决方案把

2022-03-18 18:52:21 6370

原创 阿里云轻量应用服务器闲置时间过长自动断开连接

问题描述阿里云轻量应用服务器闲置时间过长自动断开连接,并且如果在本地使用远程连接工具,打开多个窗口,一段时间误操作,会进入卡死状态,就是输入任何命令都没有任何反应,导致工作效率严重低下。解决方案1 编辑sshd_config文件在Linux服务端,配置让 server 每隔 60秒向 client 发送一个 keep-alive 包来保持连接:vim /etc/ssh/sshd_config添加如下内容ClientAliveInterval 60ClientAliveCountMax 100

2022-03-18 16:20:43 6035

原创 CentOS Linux下安装MySQL的几种方式

一 CentOS7下安装MySQL(RPM仓库安装)1.查询系统自带的mysqlrpm -qa | grep mysql2.卸载系统自带的mysql(上面命令列出的都要卸载)rpm -e --nodeps mysql-libs-5.1.73-8.el6.x85_643.下载安装官网yum源查看yum源仓库:ll /etc/yum.repos.d/下载yum源:wget -P /usr/software http://repo.mysql.com/mysql-community-release-

2022-03-17 18:33:57 5943

原创 tar: Exiting with failure status due to previous errors

现象今天在Linux执行解压文件命令,报错tar -zxvf t_xxx.tar.gz ./tar: .: Not found in archivetar: Exiting with failure status due to previous errors原因解压路径没有加 -C参数改成下面的就好了tar -zxvf t_xxx.tar.gz -C ./...

2022-03-16 10:50:59 11183 1

原创 org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT was not found in https://repository.apache.org/snapsho

报错内容Java操作Hive数据库,引入了hive-jdbc驱动,在使用maven-assembly-plugin插件进行打包时报错org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT was not found in https://repository.apache.org/snapshots during a previous attempt. This failure was cached in the local repository and resolu

2022-03-14 19:36:20 13202

原创 java.sql.SQLException: No suitable driver found for jdbc:hive://localhost:10000/default

问题使用Java代码连接Hive,报错java.sql.SQLException: No suitable driver found for jdbc:hive://192.168.100.111:10000/hive at java.sql.DriverManager.getConnection(DriverManager.java:689) at java.sql.DriverManager.getConnection(DriverManager.java:247) at com.dtsx.c

2022-03-14 19:24:42 12038

原创 使用mysqldump命令导出数据,中文乱码

问题今天在Windows上测试使用mysqldump导出mysql数据,导出的数据发现中文乱码,中文注释以及中文数据都是乱码。原因排查后发现,是PowerShell的锅,Windows PowerShell 输出重定向 (“>”) 文件编码默认为UTF-16(LE)问题,而MySQL数据库的编码设置的是UTF-8解决方案把在Windows PowerShell 中执行的命令在cmd中执行就好了。...

2022-03-08 19:56:33 11877 2

原创 记一次HDD(机械硬盘)突然出故障,然后数据恢复以及更换HDD的过程

过程       昨天下午笔记本电脑弹出通知“重新启动以修复驱动器错误”,然后就把该保存的文件保存,该退出的程序退出,之后重启了一下电脑。打开“此电脑”,发现机械硬盘(256固态分了C、D两个盘+1T机械分了E、F两个盘)找不到了,       然后我大脑宕机了5-10s,赶紧打开计算机管理,点击“存储”–>“磁盘管理”,然后在这能看到,但是在“此电脑”看不到

2022-03-05 18:47:37 12810 6

原创 执行Jar包报错FileNotFoundException: /home/data/t.txt (Too many open files)以及Cannot run program “/bin/bash

报错内容在执行自己编写的Jar包的时候,报错java.io.FileNotFoundException: /home/data/t.txt (Too many open files) at java.io.FileOutputStream.open0(Native Method)java.io.IOException: Cannot run program "/bin/bash": error=24, Too many open files at java.lang.P

2022-03-02 21:55:21 1172

原创 Java读取MySQL数据,读取不到第一条数据,并且之后的数据隔一条读一条

现象这是之前遇到的问题,就是Java读取MySQL数据,读取不到第一条数据,并且之后的数据隔一条读一条原因因为rs.next()执行了两次,所以报错,因为当时测试的时候,先测试的取一条数据,写了个rs.next,没有问题之后,就遍历数据库数据,执行while(rs.next()),然后下面的rs.next()忘了注释,就出现这个问题。解决方案在循环中注释掉下面的rs.next()就好了。...

2022-03-02 21:41:12 9931

原创 Java代码读取MySQL数据,遇到‘0000-00-00’报错Value ‘0000-00-00‘ can not be represented as java.sql.Date

报错再使用Java代码读取MySQL数据的时候,读取date格式的数据,然后使用DateTimeFormatter格式化的时候突然在控制台发现了报错,Value ‘0000-00-00’ can not be represented as java.sql.Date,找到对应的数据,发现该条数据在MySQL中的值为‘0000-00-00’原因‘0000-00-00’在mysql中是作为一个特殊值存在的,但是在Java中, java.sql.Date 会被视为 不合法的值,被JVM认为格式不正确,会报异

2022-03-02 15:58:12 10083

原创 SpringBoot中使用Kafka报错Error creating bean with name ‘kafkaTemplate‘ defined in class path resource

报错内容Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2022-03-01 21:10:40.729 ERROR 27988 --- [ main] o.s.boot.SpringApplication : Application run failedorg.springfra

2022-03-01 21:18:08 15775

原创 SpringBoot中使用Kafka报错:Failed to construct kafka consumer

报错内容在SpringBoot项目中使用了Kafka,在启动的过程中报错2022-02-26 11:44:10.422 ERROR 26148 --- [ main] o.s.boot.SpringApplication : Application run failedorg.springframework.context.ApplicationContextException: Failed to start bean 'org.springframe

2022-02-26 11:50:07 26678 3

原创 Java代码读取本地文件上传到OSS(对象存储服务)报错,系统找不到本地文件

在本地文件系统创建了对应的文件,但是在执行文件上传代码时报错,系统找不到本地文件检查一下是否勾选了“文件扩展名”勾选之前勾选之后原因在创建文件时系统自动添加了文件后缀,因为没有勾选“文件扩展名”选项,自己添加了一个文件扩展名,出现".txt.txt"现象。删除掉一个".txt"就好了,建议Win系统勾选“文件扩展名”选项。...

2022-02-24 14:34:03 10323

原创 IDEA方法之间取消下划实线

打上勾方法间就显示分隔线,取消勾不显示分割线

2022-02-23 11:05:37 9688

原创 Win11升级体验

1 结论工作主力电脑不建议升级,虚拟机、旧电脑、测试机可以体验2 过程2.1 配置电脑品牌及系列:神州 战神 ZPM-KP7SC显卡:英伟达1050TiCPU:英特尔i7-8750H内存:24G(8+16双内存)硬盘:256固态+1T机械2.2 过程前一段时间,Win10系统推送升级为win11的更新包,我想了一下,Win11内测已经很长时间了,正式版推出也有一段时间了,一些明显的BUG应该修复的差不多了(我太乐观了),然后就打算升级,升级过程还算是比较顺利,下载安装包一个多小时吧,然后

2022-02-18 00:22:42 15843

原创 IDEA Scala自动生成变量名称及变量类型

在需要生成变量名称的地方在表达式后面键入.var,然后敲回车键如果没有自动生成变量类型,可以勾选Specify 生成,也可以点击Settings,设置为默认生成变量类型变量名称以及变量类型自动生成成功,可以根据需要自己修改变量名称修改完不要忘记敲回车键,不然一编辑文件,刚才生成的变量名称以及变量类型会丢失。...

2022-02-10 11:18:19 13239

原创 Kafka执行脚本创建topic报错:ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replicati

问题:在代码中测试SparkStreaming与Kafka整合的过程,需要在kafka中提前创建两个topic,但是在执行创建脚本的过程中报错如下 kafka-topics.sh --zookeeper linux1:2181,linux2:2181,linux3:2181 --create --topic wufabao_topic01 --replication-factor 2 --partitions 3WARNING: Due to limitations in metric names,

2022-02-09 18:46:15 17117

原创 Spark Streaming消费Kafka,自定义Offset执行报错 No current assignment for partition topicBC-3

报错内容java.lang.IllegalStateException: No current assignment for partition topicBC-3 at org.apache.kafka.clients.consumer.internals.SubscriptionState.assignedState(SubscriptionState.java:259) at org.apache.kafka.clients.consumer.internals.SubscriptionStat

2022-02-08 20:04:46 11393

原创 Spark SQL连接Hive的一些常见报错

错误一:Unable to locate hive jars to connect to metastore. Please set spark.sql.hive.metastore.jars.解决方案:将JDK11切换为JDK8,问题解决。JDK11和Spark/Hive应该存在版本兼容性问题错误二:连接成功后只显示一个default数据库解决方案:把HIVE_HOME/conf目录下的hive-site.xml文件拷贝到本地IDEA的maven项目的resources目录下完美解决

2022-02-05 23:51:22 15007

原创 Spark集群Standalone模式下spark-shell控制台println不显示问题

在Standalone模式下,RDD操作所在的机器未必是提交任务的机器,所以输出RDD元素在提交任务的机器未必可以显示,解决方案:先把数据collect收集起来,然后打印收集的数据(生产环境不建议使用collect算子),可以正常打印:...

2022-01-11 09:23:21 1498

原创 Spark集群Standalone模式下从本地文件系统创建RDD报错找不到本地文件

scala> val lines = sc.textFile("file:///root/wc.txt")lines: org.apache.spark.rdd.RDD[String] = file:///root/wc.txt MapPartitionsRDD[11] at textFile at <console>:24scala> lines.count[Stage 7:>

2022-01-07 13:32:25 11051

原创 Spark on Yarn集群,运行作业报错Failed to send RPC RPC 5631266366836363375 to /192.168.80.122:52864: java.nio.

22/01/06 22:10:05 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy22/01/06 22:10:05 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, linux121, 34370, None)22/01/06 22:10:0

2022-01-06 23:50:06 12828

原创 Azkaban集群启动报错 Failed to find write-enabled DB connection. Wait 15 seconds and retry. No.Attempt = 1

2021/12/01 09:26:38.610 +0800 ERROR [MySQLDataSource] [Azkaban] Failed to find write-enabled DB connection. Wait 15 seconds and retry. No.Attempt = 1java.sql.SQLException: Cannot create PoolableConnectionFactory (Access denied for user 'root'@'linux121' (

2021-12-01 19:59:20 2281

原创 Hive命令行启动,执行SQL报错“SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.Run”

[root@xxxmapreduce]# hiveLogging initialized using configuration in file:/opt/wufabao/servers/hive-2.3.7/conf/hive-log4j2.properties Async: trueHive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different

2021-12-01 15:15:20 12933

原创 Azkaban启动报错Cannot find ‘database.properties‘ file

今天在CentOS上安装Azkaban,在bin目录下执行完./start-solo.sh脚本后访问web界面失败,然后使用jps命令发现AzkabanSingleServer服务没有启动,在bin目录下生成了一个.out文件打开该文件,内容如下,说是找不到’database.properties’文件2021/11/30 21:20:44.875 +0800 INFO [AzkabanWebServer] [Azkaban] Starting Azkaban Server2021/11/30 21

2021-11-30 21:47:03 592

原创 HBase自定义Observer协处理器报错“ cannot be cast to org.apache.hadoop.hbase.client.HTable Cause:”

HBase自定义Observer协处理器在向其中一张表插入数据时,将数据保存到另一张表,执行逻辑报错如下2021-11-30 14:28:13,884 ERROR [RpcServer.FifoWFPBQ.default.handler=29,queue=2,port=16000] master.MasterRpcServices: Region server linux121,16020,1638253313319 reported a fatal error:ABORTING region serv

2021-11-30 16:34:11 1551

原创 HBase查看日志报错 msg=拒绝连接 row ‘‘ on table ‘hbase:meta‘ at region=hbase:meta,,1.1588230740, hostname=xxx

今天在hbase shell中执行一些语句时发现特别卡顿,然后查看了一下日志,发现报错:2021-11-30 14:15:58,777 INFO [htable-pool17-t1] client.RpcRetryingCaller: Call exception, tries=11, retries=350, started=48510 ms ago, cancelled=false, msg=拒绝连接 row '' on table 'hbase:meta' at region=hbase:meta

2021-11-30 16:02:40 4605

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除