关注
分享
但行益事莫问前程
大数据研发， 开发flink实时流
展开
-
flink 报错ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer
存在依赖冲突,把conf目录下flink-conf.yml中的classloader.resolve-order参数由默认的child-first改成parent-first。代码逻辑为从socket流中读取数据写入kafka。查看flink作业日志。提交到yarn集群后报错。原创 2024-03-02 19:48:05 · 423 阅读 · 0 评论 -
flink sql作业报错Timeout of 60000ms expired before the position for partition xxx could be determined
新增流作业，将kafka集群的数据通过flink sql写入hdfs,所有的flink作业均出现订阅的topic某个分区超时；(3)查看页面，找到出现异常的taskmanager所对应的域名,通过ping和telnet命令测试是否网络正常，发现不通，生产环境存在2套网络,(一套管理ip、一套服务ip)，域名映射出错。（2）连接kafka对应的zookeeper客户端，找到kafka连接超时分区的leader对应的服务器ip。打通此节点和cdh集群之间的网络，配置正确的域名映射。原创 2023-03-26 11:05:52 · 2070 阅读 · 0 评论 -
Command execution failed.: Cannot run program fpm异常、编译ruby安装fpm工具
问题： maven打包报错原因： 执行命令，发现没有安装fpm工具解决： fpm打包需要用到rpmbuild工具 删除yum源安装的老版本ruby 从ruby官网下载ruby-2.5.9版本的源代码包 把下载的包编译安装到/home/software/下 建立软连接 查看对应版本 使用gem安装fpm，版本为1.9.3 建立软连接 查看对应版本...原创 2022-07-12 14:49:29 · 63959 阅读 · 0 评论 -
Too many files with unapproved license异常、使用-Drat.skip=true跳过 或者 对没有授权的文件开头添加授权
问题：原因： 使用apache-rat-plugin，代码中存在许多文件没有获得许可解决： 在maven命令后添加参数 或者 读取报错中的文件，找到在没有授权的文件开头添加原创 2022-07-12 12:19:32 · 64940 阅读 · 0 评论 -
svn svn拉取代码报错，Can‘t convert string from ‘UTF-8‘ to native encoding、修改服务器字符集设置、locale查看服务器语言设置
问题： 执行命令拉取代码报错原因： SVN客户端解决： 修改环境变量 ： 生效环境变量配置 ，查看中英文环境原创 2022-07-12 11:53:08 · 43966 阅读 · 0 评论 -
hdfs datanode启动失败 org.apache.hadoop.util.DiskChecker$DiskErrorException: Directory is not readable
问题：datanode启动失败,查看datanode日志原因：查看服务器文件系统和挂载发现挂载的磁盘不存在查看hdfs数据目录 hdfs-site.xml的配置数据目录和磁盘容错解决：因为没磁盘换，可或者原创 2022-06-24 14:51:20 · 63768 阅读 · 0 评论 -
flink Could not find a file system implementation for scheme hdfs
问题：原因：flink自1.8之后不再提供对应的hadoop编译版本，需要用户自己重新编译或者提供一个flink和hadoop连接器。解决：原创 2022-06-02 13:11:25 · 44228 阅读 · 2 评论 -
flink org.apache.flink.sql.parser.impl.ParseException: Encountered “result“ 关键字冲突
问题：创建虚拟表时，使用result作为表名报错tableEnv.createTemporaryView("result", resultTable);Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered "result" at line 1, column 24.Was expecting one of: "LATERAL" ... "TABLE" ... "UNNEST" ...原创 2022-05-29 17:29:32 · 45388 阅读 · 0 评论 -
yum执行出错，There are no enabled repos
1.问题： 手贱把yum源CentOS-Base.repo删除了执行yum install wget报错There are no enabled repos. Run "yum repolist all" to see the repos you have.Loading mirror speeds from cached hostfileThere are no enabled repos. Run "yum repolist all" to see the repos you have. T原创 2022-04-17 18:52:42 · 46104 阅读 · 2 评论 -
redis 哨兵模式启动报错-failover-abort-no-good-slave master Next failover delay: I will not start a failover
问题：启用哨兵模式时报错31812:X 10 Apr 2022 16:15:58.947 # -failover-abort-no-good-slave master mymaster 127.0.0.1 637931812:X 10 Apr 2022 16:15:59.014 # Next failover delay: I will not start a failover before Sun Apr 10 16:21:59 2022原因：配置sentinel.conf时，没有设置密码解原创 2022-04-10 16:29:48 · 45846 阅读 · 0 评论 -
ORA-01589: 要打开数据库则必须使用 RESETLOGS 或 NORESETLOGS 选项
问题：闪回oracle数据库后启动数据库报错原因：闪回数据库后，redo log不再可用解决：闪回数据库之后必须以 resetlogs（重置日志） 的方式启动alter database open resetlogs;原创 2022-04-04 00:18:41 · 993 阅读 · 0 评论 -
ORA-39002: 操作无效 ORA-39166: 找不到对象
问题：使用数据泵impdb指定表时报错原因：不详（望指点）解决：有文章说当impdp使用remap_schema时，导入dmp的所有数据时则不需要指定tables参数。尝试了一下导入成功了原创 2022-04-03 17:15:11 · 45191 阅读 · 0 评论 -
ORA-01536: 超出表空间 ‘USERS‘ 的空间限额
问题：插入数据报错原因：select * from user_ts_quotas;查询用户在表空间的配置对users表空间的使用配额为0解决：切换到具有dba角色的用户下授权alter user scott quota 50m on users;查询配额：select * from user_ts_quotas u where u.TABLESPACE_NAME ='USERS' ;执行成功：...原创 2022-04-01 01:57:48 · 63266 阅读 · 0 评论 -
ORA-01950: 对表空间 USERS无权限
问题：插入数据报错原因：查看用户的权限：需要添加对表空间的操作权限解决：切换到管理员账户alter user 用户 quota unlimited on 表空间名;原创 2022-03-31 08:03:17 · 47873 阅读 · 0 评论 -
服务器启动无法shell远程连接，Failed to start LSB； No suitable device found for this connection ens33
问题：远程连接服务器，无法连接ifconfig查看，仅显示 inet 127.0.0.1 netmask 255.0.0.0解决：查询内核系统日志cat /var/log/messages | grep network发现报错内容no suitable driver found for ens33重新激活ens3网卡chkconfig NetworkManager offchkconfig network onservice NetworkManager stopse原创 2021-08-17 16:04:30 · 43514 阅读 · 0 评论 -
oracle 行级锁、表级锁、死锁、出现锁表甚至kill 操作无效的处理方式
问题：给oracle数据库插入海量数据时，发现归档日志剩余空间不足，所以停止执行，但是等待了很长时间，锁仍然没有被释放；解决：（1）查看被锁的信息：select * from v$locked_object；通过字段查看到锁表者的操作信息SESSION_ID ：需要在v$session表中查看的 sid 值，我查到的值为478ORACLE_USERNAME ：锁表者使用的oracle账号OS_USER_NAME：锁表这操作系统的用户名称（2）通过上述信息锁定到部分锁表者，若仍然无法确定可原创 2021-03-07 02:03:01 · 69133 阅读 · 0 评论 -
idea:修改module名称后，出现错误Cannot load settings from file
问题：idea启动后报错，Cannot load settings from file ‘xxx.iml’: File xxx.iml does not exist Please correct the file content原因：删除或者修改module后，没有在项目中去除这部分配置解决：把modules中修改或者删除的module去除...原创 2021-03-24 14:46:08 · 43981 阅读 · 0 评论 -
oracle报错：ORA-01078: failure in processing system parameters LRM-00109: could not open parameter file
问题：启动失败，报错：ORA-01078: failure in processing system parametersLRM-00109: could not open parameter file '/u01/app/oracle/product/10.2.0/dbhome2/dbs/initorcl.ora'原因：在oracle9i和oracle10g中，oracle默认使用spfile启动数据库，如果spfile不存在，则出现上述错误；解决：将 $ORACLE_BASE/admi原创 2021-03-24 10:26:05 · 43359 阅读 · 0 评论 -
maven本地仓库存在jar（仓库是从编译ok的计算机maven仓库复制的），_remote.repositories文件导致Failure to find jar，批量修改目录下文件名
问题：拷贝了一份编译ok的计算机maven仓库到本地，在一个无法访问nexus私服的环境下无法编译，Failure to find jar原因：查看本地maven仓库，发现出现大量的_remote.repositories文件nexus说明这个依赖是从私服中下载的，而此时连不上私服的，需要把这个文件去除解决：进入maven仓库的目录文件，执行下面命令，在当前目录下把所有的_remote.repositories替换为_remote.repositories.bakfind . -type原创 2021-03-21 21:10:11 · 43169 阅读 · 0 评论 -
java.util.UnknownFormatConversionException: Conversion =““
问题： if (StringUtils.isNotEmpty(connectString)) { metasql = String.format(metasql + "and connect_url like concat('%','%s','%')", connectString); }在执行代码时报错java.util.UnknownFormatConversionException: Conversion = '''原因：在字符串中出现特殊符原创 2021-03-08 14:46:52 · 43396 阅读 · 0 评论 -
Centos6.5 yum下载慢，Trying other mirror Error Downloading Packages，替换为国内的yum源
1.问题： 使用的环境为Centos6.5，在执行yum install gcc gcc-c++ pcre pcre-devel openssl openssl-devel zlib zlib-devel -y速度非常慢且显示Trying other mirror.Error Downloading Packages: e2fsprogs-1.41.12-24.el6.x86_64: failure: Packages/e2fsprogs-1.41.12-24.el6.x86_64.原创 2021-03-04 21:20:26 · 43602 阅读 · 0 评论 -
redis 编译报错 error: jemalloc/jemalloc.h: No such file or directory
问题：zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directoryzmalloc.h:55:2: error: #error "Newer version of jemalloc required"原因：jemalloc重载了Linux下的ANSI C的malloc和free函数。解决办法：make时添加参数：make MALLOC=libc...原创 2021-02-27 11:22:27 · 43064 阅读 · 0 评论 -
mybatis使用LocalDate和LocalDateTime抛出异常 java.lang.IllegalStateException: Type handler was null
解决方法：引入jar包<dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis-typehandlers-jsr310</artifactId> <version>1.0.1</version> </dependency>若使用的mybatis版本低于3.4.0，则需要配置：<typeHandlers>原创 2021-02-19 11:24:42 · 44369 阅读 · 0 评论 -
centos6.5 执行yum install vim 报错，YumRepo Error: All mirror URLs are not using ftp, http[s] or file.
备份配置文件mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak新建CentOS-Base.repo配置：vim /etc/yum.repos.d/CentOS-Base.repo粘贴如下内容[centos-office]name=centos-officefailovermethod=prioritybaseurl=https://vault.centos.org/6.10/os/x86_6原创 2021-02-10 16:35:41 · 43145 阅读 · 0 评论