Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris 通常在使用 Hive 等相关技术时出现这个错误,意味着系统无法找到或识别正确的元数据存储位置。你需要检查相关配置,确保指定了正确的元存储的 URI 或地址。这是一个错误提示信息,意思是“不允许嵌入式元存储。设置了一个有效的值”。
FlinkModule加载HiveModule异常 但我把这个依赖贴近pom文件后,用maven加载时,maven对这个包爆红,网上查说是需要scala环境,目前还没解决。加在不出来这个模块,网上查说是要加下面这个依赖。HiveModule这个模块加载不出来。
Flink中NoClassDefFoundError: org/apache/flink/runtime/state/StateBackend解决 Java运行报错:... 7 more【解决办法】加上之后,再运行完美解决。
idea导入文件里面的子模块maven未识别处理解决办法 1、File → Project Structure → 点击“Modules” → 点击“+” → “Import Model”2、可以看到很多子模块,选择子模块下的 pom.xml 文件导入一个一个点累死了,父目录下也没有pom文件。解决办法:找到子模块中有一个pom.xml文件,它是依赖其他子模块的pom,直接只用导入它,即可。
IDEA中配置git远端是报CreateProcessW failed error:193的bug 【背景说明】最近学习在gitLab的使用,当我启动好gitlab(sudo gitlab-ctl start,只用启这个就好了,没有其他额外的服务如zk,kafka,hdfs需要启)并用IDEA将创建好的项目提交到gitLab时,上有两种方式可选择:方式一:用IDEA上的插件:GitLab Projects用这个插件后这个token是我在gitlab中在访问令牌中生成好的,填在这里就可以了最后:我只需要点vcs这个小狐狸图标,那么我idea中的这个项目就会自动推送到gitlab上此时这个插件就可以帮我把项目
Flink跑kafka connector遇到的问题 将报错粘到网上,说是我分区数据坏了,kafka解析不了,所以把对应的这个topicA删除,重建一次,再往里写数据就好了。上面這幾個是bug中我找的关于问题的关键点。
FlinkErr:Could not instantiate the executor. Make sure a planner module is on the classpath 指出Flink无法实例化执行器,并建议你确保类路径(classpath)中包含规划器(planner)模块。如果用下面(我注释掉)的这个,就必须有相对应版本的scala,但我没有scala,所以运行报错。官方说这个模块有两个,一个是带scala版本的,一个是不带的。我没注释的这个,它已经帮我把scala打到这个包里了,我就不用再操心了。
SqlYog登录MYSQL ERR:“plugin caching_sha2_password could not be loaded” plugin caching_sha2_password could not be loaded”,是无法加载插件缓存sha2密码, 在MySQL 8.0中,caching_sha2_password是默认的身份验证插件,而不是mysql_native_password.使用mysql5可以正常连接,但是mysql8却无法连接,所以应该是sqlyog版本与mysql版本不匹配造成的。先通过Linux进入MySQL客户端:mysql -h localhost -u root -p'xxxxxx'
如何在IDEA中实现类似Linux命令那样的外部传参 说明:其实java中main方法里的args这个参数,就是用于接收外部传参的。此时参数名在代码中已经写完了,但现在直接运行会报错,因为你还没有给其传参。IDEA中执行一个程序时,如何就在程序一开始执行给传入你给的参数呢?通过上述两种方式实现外部传参(1.解析位置,2.解析参数名)这样参数就传递完成了,再次运行!
Flink程序运行时报NoClassDefFoundError 这种方式的缺点是:运行时你用compile,后面打包的时候,你还得再改回去,麻烦。如果你不改,将来在flink集群运行时,会和集群自带的这个包可能冲突。provided:只在开发,编译期间生效,不参与打包,需代码执行环境中提供,一般都是框架自有的一些包,你要是打了可能还会和系统自己的包起冲突。是因为你的依赖范围写的provided,该参数表示这个包只在运行时生效。compile:若scope是这个,表示会将你这个依赖在打包时一起打进去。test:这个表示只在你test程序中生效,打包是不会打进去。
SpringBoot中Hive数据可以正常提取但无法存到MySQL的bug SpringBoot中的主类(main方法)【DgaApplication】只负责启动服务,并不负责Hive数据提取和MySQL数据装载(当然前提是你没在main里调用该方法),我以为启动服务了里面所有的类都会自动执行,并没有在test模块测试【testMetaStore】(用于将hive数据装载到MySQL)这个方法,傻了傻了。在我启动SpringBoot服务,准备将hive元数据提取到MySQL中时,发现hive中的数据可以正常提取到(通过打断点能看到81张能正常出来),:在test类中执行装载方法。
记录一个拷别人集群后连Moba不上的问题 最近要搭建数据治理平台,需要用到完整的hive和hdfs上的数据,我自己的集群上hive的数据不完整,因此拷贝别人的集群过来。上面这个登录口令是对的,是可以从VMware上直接登他的机子的。当我不改他的IP,直接用Xmoba连时,一直连不上。对当前机器:reboot。