- 博客(90)
- 收藏
- 关注
RSS订阅原创 FlinkErr: Unknown call expression: sum(vc)
【代码】FlinkErr: Unknown call expression: sum(vc)
2024-07-15 18:59:23
401
原创 IDEA中如何每次新建一个类自动添加注释
@Date 2024/7/14 下午3:26。* 1、如何建立流数据转成表数据。* @Author 原来是大华啊~
2024-07-14 16:16:10
132
原创 Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris
通常在使用 Hive 等相关技术时出现这个错误，意味着系统无法找到或识别正确的元数据存储位置。你需要检查相关配置，确保指定了正确的元存储的 URI 或地址。这是一个错误提示信息，意思是“不允许嵌入式元存储。设置了一个有效的值”。
2024-07-12 22:28:39
224
原创 FlinkErr：org/apache/hadoop/hive/ql/parse/SemanticException
上面这段代码出现如下这个异常，加上下面这个依赖后不报错。在flink项目中跑。
2024-07-12 19:51:05
394
原创 FlinkModule加载HiveModule异常
但我把这个依赖贴近pom文件后，用maven加载时，maven对这个包爆红，网上查说是需要scala环境，目前还没解决。加在不出来这个模块，网上查说是要加下面这个依赖。HiveModule这个模块加载不出来。
2024-07-11 23:00:13
304
原创 Flink异常：org/apache/flink/streaming/api/environmen
.. 1 more【如何解决】配置里勾上这个就行成功，这个问题解决。
2024-07-09 11:22:02
322
原创 Flink中NoClassDefFoundError: org/apache/flink/runtime/state/StateBackend解决
Java运行报错：... 7 more【解决办法】加上之后，再运行完美解决。
2024-07-06 14:11:15
485
原创 idea导入文件里面的子模块maven未识别处理解决办法
1、File → Project Structure → 点击“Modules” → 点击“+” → “Import Model”2、可以看到很多子模块，选择子模块下的 pom.xml 文件导入一个一个点累死了，父目录下也没有pom文件。解决办法：找到子模块中有一个pom.xml文件，它是依赖其他子模块的pom，直接只用导入它，即可。
2024-06-22 22:05:55
1539
1
原创 IDEA中配置git远端是报CreateProcessW failed error:193的bug
【背景说明】最近学习在gitLab的使用，当我启动好gitlab（sudo gitlab-ctl start，只用启这个就好了，没有其他额外的服务如zk，kafka，hdfs需要启）并用IDEA将创建好的项目提交到gitLab时，上有两种方式可选择：方式一：用IDEA上的插件：GitLab Projects用这个插件后这个token是我在gitlab中在访问令牌中生成好的，填在这里就可以了最后：我只需要点vcs这个小狐狸图标，那么我idea中的这个项目就会自动推送到gitlab上此时这个插件就可以帮我把项目
2024-06-19 17:48:25
359
原创 Flink跑kafka connector遇到的问题
将报错粘到网上，说是我分区数据坏了，kafka解析不了，所以把对应的这个topicA删除，重建一次，再往里写数据就好了。上面這幾個是bug中我找的关于问题的关键点。
2024-06-16 18:45:00
980
原创 FlinkErr：Could not instantiate the executor. Make sure a planner module is on the classpath
指出Flink无法实例化执行器，并建议你确保类路径（classpath）中包含规划器（planner）模块。如果用下面（我注释掉）的这个，就必须有相对应版本的scala，但我没有scala，所以运行报错。官方说这个模块有两个，一个是带scala版本的，一个是不带的。我没注释的这个，它已经帮我把scala打到这个包里了，我就不用再操心了。
2024-06-16 13:04:12
355
原创 SqlYog登录MYSQL ERR：“plugin caching_sha2_password could not be loaded”
plugin caching_sha2_password could not be loaded”，是无法加载插件缓存sha2密码， 在MySQL 8.0中，caching_sha2_password是默认的身份验证插件，而不是mysql_native_password.使用mysql5可以正常连接，但是mysql8却无法连接，所以应该是sqlyog版本与mysql版本不匹配造成的。先通过Linux进入MySQL客户端：mysql -h localhost -u root -p'xxxxxx'
2024-06-12 18:18:37
450
原创 如何在IDEA中实现类似Linux命令那样的外部传参
说明：其实java中main方法里的args这个参数，就是用于接收外部传参的。此时参数名在代码中已经写完了，但现在直接运行会报错，因为你还没有给其传参。IDEA中执行一个程序时，如何就在程序一开始执行给传入你给的参数呢？通过上述两种方式实现外部传参（1.解析位置，2.解析参数名）这样参数就传递完成了，再次运行！
2024-05-31 19:30:26
217
原创 Flink程序运行时报NoClassDefFoundError
这种方式的缺点是：运行时你用compile，后面打包的时候，你还得再改回去，麻烦。如果你不改，将来在flink集群运行时，会和集群自带的这个包可能冲突。provided：只在开发，编译期间生效，不参与打包，需代码执行环境中提供，一般都是框架自有的一些包，你要是打了可能还会和系统自己的包起冲突。是因为你的依赖范围写的provided，该参数表示这个包只在运行时生效。compile：若scope是这个，表示会将你这个依赖在打包时一起打进去。test：这个表示只在你test程序中生效，打包是不会打进去。
2024-05-31 18:39:11
439
原创 Java常用API之HashSet类解读
写在开头：本文用于作者学习我将官方文档中HashSet 1.6版本中类中所有API全测了一遍并打印了结果，日拱一卒，常看常新。
2024-05-18 22:13:22
322
原创 SpringBoot中Hive数据可以正常提取但无法存到MySQL的bug
SpringBoot中的主类（main方法）【DgaApplication】只负责启动服务，并不负责Hive数据提取和MySQL数据装载（当然前提是你没在main里调用该方法），我以为启动服务了里面所有的类都会自动执行，并没有在test模块测试【testMetaStore】（用于将hive数据装载到MySQL）这个方法，傻了傻了。在我启动SpringBoot服务，准备将hive元数据提取到MySQL中时，发现hive中的数据可以正常提取到（通过打断点能看到81张能正常出来），：在test类中执行装载方法。
2024-05-18 15:54:44
449
2
原创 记录一个拷别人集群后连Moba不上的问题
最近要搭建数据治理平台，需要用到完整的hive和hdfs上的数据，我自己的集群上hive的数据不完整，因此拷贝别人的集群过来。上面这个登录口令是对的，是可以从VMware上直接登他的机子的。当我不改他的IP，直接用Xmoba连时，一直连不上。对当前机器：reboot。
2024-05-17 18:11:49
206
原创 力扣刷题总结--链表部分
链表的两种操作方式不用虚拟头结点用虚拟头节点为什么要定义cur指针因为操作完链表以后，是要返回头节点的。如果你上来就操作头节点，那么头节点的值都改了，返回head就不是我们最开始的链表了。写while循环的时候，只要考虑清楚极端条件就可以了考虑清楚头结点和尾节点的判断条件当处理的是头结点的时候考虑：1.会不会出现空指针。2.操作的是不是头结点尾部节点的判断条件-- 表示当前指针已指向尾部节点=null) -- 表示如果循环没有到尾部节点，就一直进行循环指针指向下一个节点。
2024-05-15 16:39:09
975
原创 Hql一些的零碎问题
iso_3166_2 string comment 'ISO3166编码'area_code string comment '行政区位码',region_id string comment '大区id',iso_code string comment '国际编码',name string comment '省份名称',id string comment '编号',)comment '地区维度表'这个dt不能加''号。
2024-05-09 16:43:44
414
原创 Java常用API之LinkedList类解读
写在开头：本文用于作者学习我将官方文档中LinkedList 1.6版本中类中绝大部分API全测了一遍并打印了结果，日拱一卒，常看常新。
2024-05-02 20:57:04
599
2
原创 Java常用API之HashTable,hashMap类解读
写在开头：本文用于作者学习我将官方文档中HashTable 1.6版本中类中所有API全测了一遍并打印了结果，日拱一卒，常看常新。
2024-05-02 10:39:20
259
原创 记录一个因开了IDEA省电模式导致的文件不自动编译和没有代码自动提示的问题
我还以为是Java编译器有问题，cmd后Java -v是正常的。查看本机环境变量也没问题，搞了半天，最后发现原来是之前手贱开了个IDEA省点模式，导致它不自动编译了，所以创建的。好久没打开IDEA了，今天想趁着五一休息，打开IDEA做两道力扣题，发现创建的类没法自动编译了。
2024-05-01 12:11:16
238
原创 记录一下因网络问题导致的安装Python3.8和SuperSet的报错
我目前在搭建数仓最后一个环境-->将MySQL的数据用SuperSet展示，安装SuperSet需要提前在Linux上安装Python环境，下面截图就是我在创建Python3.8的环境。方法二：使用默认镜像源（删掉清华源），再执行。方法一：网络不行，将上面命令多来几次就好了。报这个错是因为网络问题，网不好。方法三：连自己的热点再重新试。
2024-04-30 15:52:50
163
1
原创 论25-30这个年龄段的程序员还能在牌桌上的时间
以北京为例，共10页，一页是30个公司，总共是300个公司在招大数据，按每个公司3-5个大数据，北京大概开放岗位是1000-1500个岗位（保守），一线城市（北上广深）按1500算，共4个，按6000个大数据岗位，其他所有新一线，二线（杭州，成都，武汉，宁波，郑州，无锡，...）按20个城市折算，每个城市按能提供1000个大数据岗位（我其实看了下像杭州，长沙，武汉这种，也都是10页），约能提供20000个岗位，这个其实我是往小了算了。不想卷的：同样也按50%算，会在3-5年内速度慢慢减弱，还剩5万人。
2024-04-24 20:17:31
914
3
原创 MobaXterm建立隧道的相关配置
在公司环境中，我们通过本地Windows机器没法直接访问公司的服务器（安全考虑，都装了防火墙），要访问公司服务器的通常做法是，在本机安装个代理插件（如Proxy SwitchyOmega：它的作用是将你的linux上的http网页的请求都转到你某个本地端口上，比如12345端口），这个12345端口再通过隧道将你的http请求以命令的方式再发给跳板机，让跳板机再去发网络请求去访问你公司的服务器。【隧道配置】以Xterm为例。【为什么要建立隧道】
2024-04-23 17:11:18
1512
原创 记录一个hive中跑insert语句说没创建spark客户端的问题
经过排查，发现导致该问题的原因是当队列资源达到100%后，如果短期内都没有任务空余资源释放出来提供给创建 sparksession使用，将会导致任务失败而抛出这个异常。我目前搭建离线数仓，并将hive的执行引擎改成了Spark，在将ods层的数据装载到dim层，执行insert语句时报如下错误。这个错误表示Hive无法为Spark会话创建Spark客户端，可能是由于Spark会话创建失败导致的。修改hive的配置文件hive-site.xml。加大client连接时间间隔；
2024-04-21 11:36:22
793
原创 Hive建表中对JSON格式的日志文件处理
【背景说明】我正在搭建离线数仓，目前已经hive建表阶段，业务数据和(用于测试的)用户历史数据已采集到hdfs上。因用户行为日志都已JSON格式存储，因此需要在hive建表时指定相应格式。
2024-04-20 12:24:54
336
1
原创 Hive中array，map，struct三种数据结构说明
备注：Hive建表对复杂JSON格式（对象里套对象）文件处理中，如果字段固定，用struct声明；如果字段不固定，用map结构处理。该API会将参数转成键值对，参数必须是偶数，其中奇数参数看作键，偶数参数看作值。所有参数会被当成值，不要求成对；取值是.colN取出对应字段N的值。参数必须成对出现，奇参会当成键，偶参会被当成值。该API会将里面的参数转成一个数组。判断数组中是否有指定的键。取值：['键下标']取值：['键名称']
2024-04-20 11:40:39
362
原创 记录一下flume中因为taildir_position.json因位置不对导致数据无法从kafka被采到hdfs上的问题
最后发现是我的taildir_position.json之前在/opt/module/flume/jobs/collectionProject路径下（4.JSONObject.class（flume/lib中也已经导入），我需要用flume将kafka上的数据采集到hdfs上，发现数据怎么到不了hdfs。），导致flume读不到这个文件的位置，所以无法从kafka将数据读到hdfs。MySQL数据库的增量数据已从kafka成功同步到hdfs~2.我的flume配置文档（没问题），3.时间拦截器（没问题），
2024-04-19 21:47:44
476
2
原创 记录一下因为没等配置文件上传完就跑lg.sh导致f2.sh没起作用的原因
再启动：[atguigu@hadoop104 flume]$ bin/flume-ng agent -n a1 -c conf/ -f jobs/collectionProject/kafka_to_hdfs_log.conf。阶段2：将kafka上的数据采集到hdfs上，因为我是用application.yml造的数据，每次需要改这个文件中的mock.data这个参数，但我每次改完后。阶段1：将日志文件的数据通过flume采集到kafka。我的这一步正常，kafka上有数据，即f1.sh是正常的。
2024-04-19 20:26:54
145
原创 Hive中因没启yarn导致的spark引擎跑insert语句的报错
百度说是这个报错意味着Hive无法为Spark会话创建Spark客户端。可能是由于配置问题导致的。建议检查Hive配置文件中关于Spark的设置是否正确，特别是关于Spark执行引擎的配置。这次没有创建SparkClient失败是因为我的yarn没启，Spark运行需要yarn进行资源调度。再跑：hive (default)> insert into table student values(1,'abc');刚在hive中配置了Spark引擎，在进行Hive on Spark测试时报错，
2024-04-19 11:32:14
631
原创 记录一下hive启动metestore服务时报错
之前hadoop有问题，把hadoop和MySQL删了重装，hive没有动，然后启hive的metastore服务的时候，显示找不到metastore数据库。Hive元数据库的字符集默认为Latin1，由于其不支持中文字符，所以建表语句中如果包含中文注释，会出现乱码现象。修改Hive元数据库中存储注释的字段的字符集为utf-8。3）初始化Hive元数据库。2）新建Hive元数据库。4）修改元数据库字符集。1）启动Hive客户端。1）登陆MySQL。5）退出mysql。2）查看一下数据库。
2024-04-19 10:59:35
726
原创 记录一个Maxwell采集MySQL数据时报安全证书时间不通过的问题
再跑：/opt/module/maxwell/bin/maxwell-bootstrap --database gmall --table user_info --config /opt/module/maxwell/config.properties。数据就被采集的kafka了，但这样有问题，因为kafka上的时间是我改后的时间（不对），所以问题并没有完全解决，但证书我网上找了半天，没看太明白，期待有大神求助~意思就是我启动Maxwell的时间不能比这个证书的时间早。
2024-04-18 15:26:07
322
原创 记录一个启Maxwell找不到gmall数据库的问题
启动Maxwell的时候，发现起不来：/opt/module/maxwell/bin/maxwell --config /opt/module/maxwell/config.properties --daemon。我要用Maxwell全量同步一张user_info表，从MySQL到kafka，我的zk，kakfa都启动了。进入MySQL，把gmall数据库删了重新建，再启Maxwell就好了。写在开头：建议宽屏阅读。
2024-04-18 15:15:30
238
原创 记录一个因mysql-connetcor的jar包版本导致Maxwell无论如何起不起来的问题
我需要用Maxwell把我MySQL的数据同步到kafka上，我的zk，kafka都是正常的，但是启动Maxwell的时候，无论如何起不来，maxwell中的conf.properties的配置文件也没问题（检查了好几遍）-rw-r--r--. 1 atguigu atguigu 182784 2月 4 2023 mysql-binlog-connector-java-0.23.3.jar。（这个5的版本的是我之前因为什么错，百度说让加上这个5的jar包的）1. 把5的这个版本。
2024-04-18 10:56:42
204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人