- 博客(21)
- 收藏
- 关注
RSS订阅原创 Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通)
Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream API 来从不同的数据源获取数据。每个示例都包含了创建数据流的代码和对数据流进行操作的注释。这些示例可以作为构建更复杂 Flink 流处理作业的起点。
2024-04-02 21:42:15
980
原创 Hive安装配置
4 将mysql-connector-java-5.1.37.jar 移动到lib目录下。3 删除 guava-19.0.jar并将hadoop中的这个jar移动过来。2 配置hive-log4j2.propertieslate。1 在conf目录下vim 创建hive-site.xml。5 通过schematool相关命令执行初始化。
2024-04-02 20:27:08
268
1
原创 浙江省大数据Hudi配置
完成解压安装及配置后使用maven对hudi进行构建（spark3.1，scala-2.12），使用spark-shell操作hudi（启动时若需要hudi-spark3.1-bundle_2.12-0.12.0.jar，该包已放置在/opt/software下，若不需要请忽略），将spark-shell启动命令复制并粘贴至对应报告中；1 将编译完成与spark集成的jar包，集成后使用spark-shell操作hudi，启动spark-shell。ctrl+D //执行多行语句。
2024-04-02 20:20:22
378
1
原创 Flink处理kafka数据再写入到ClickHouse
使用Flink消费Kafka的dwd层数据，监控order_status字段为已退款的数据,将数据存入ClickHouse数据库shtd_result的order_master表中，然后在Linux的ClickHouse命令行中根查询出前5条。3.将数据addSink到ClickHouse中。1.配置ClickHouse JDBC配置。2.对ClickHouse执行的SQL语句。
2024-03-20 20:15:57
491
1
原创 ERROR: KeeperErrorCode = NoNode for /hbase/master
错误 "ERROR: KeeperErrorCode = NoNode for /hbase/master" 通常发生在使用HBase时，这个错误表明在ZooKeeper中没有找到HBase Master节点的相关条目。
2024-03-19 20:47:44
1590
原创 Exception in thread “main“ java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkAr
如果你的项目依赖于特定版本的Guava库，而你的代码或者构建环境中使用了不同版本的Guava库，可能会导致方法签名不匹配。确保你的项目中只包含一个版本的Guava库，并且该版本的库包含了你需要的方法。如果你的项目依赖于特定版本的Guava库，确保没有其他库或模块引入了不同版本的Guava。：可能是因为Guava库没有被正确地添加到类路径中，或者类路径中有多个版本的Guava库，导致运行时找不到正确的方法。：如果你的项目允许，尝试更新到最新版本的Guava库，或者至少是一个包含了你需要的。
2024-03-19 20:41:46
560
原创 java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH
这通常是因为Flink需要访问Hadoop的类和配置文件，但是没有正确地设置HADOOP_CLASSPATH环境变量，或者Hadoop的类没有包含在Flink的类路径中。请注意，如果你正在使用YARN来运行Flink作业，那么YARN通常会提供必要的Hadoop类路径。： 如果你需要更多关于如何部署和操作Flink集群的信息，可以参考官方的Apache Flink文档中的"Deployment"部分。替换为你需要的Hadoop版本对应的Flink shaded JAR的版本号。为你的Hadoop安装目录。
2024-03-19 20:37:46
404
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.Runtim
这是异常的详细信息，指出在HBaseSerDe（序列化/反序列化）过程中，Hive期望的列数（12个）与HBase映射文件中定义的列数（13个）不一致。具体来说，错误是由于在Hive与HBase集成时，列的数量不匹配导致的。：如果你使用了映射文件来定义Hive和HBase之间的列映射，确保映射文件中的列数与实际的HBase表列数相匹配。：同样，检查HBase表的定义，确保列的数量和Hive表中定义的列相匹配。：查看Hive表的定义，确保你定义的列数与HBase表中的列数相匹配。
2024-03-19 20:18:05
836
原创 Caused by: java.net.ConnectException: Connection refused (Connection refused) at java.net.PlainSock
这个错误信息表明你的Java应用程序在尝试通过套接字连接到一个服务时遇到了问题，具体来说是“连接被拒绝”（Connection refused）。这通常意味着没有服务在指定的IP地址和端口上监听，或者你的应用程序没有权限连接到该服务。此时拒绝连接是因为没有开启hive的元数据库。
2024-03-19 20:15:02
308
原创 JAVA无效目标发行版 17 的解决方案
还有打包的时候一直出现JAVA无效目标发行版 17中问题,除了从设置中的Java编译器修改模块和项目的字节码版本修改成对应的版本.或者是在项目结构的项目或者是模块中设置为语言和编译器为JDK8还有就是可能在使用的时候Mavan中的配置为JDK17。我是因为在这个Maven的setting.xml配置文件中配置了JDK17所以每次编译的时候都会出现这个问题.
2023-12-21 09:32:05
1275
原创 大数据之Docker学习笔记
-driver bridge 桥接网络--subnet 192.168.0.0/16 子网地址--gateway 192.168.0.1 网关地址。
2023-12-13 09:38:10
943
1
原创 OCI runtime exec failed: exec failed: unable to start container process: exec: “ip“: executable file
更新apt并安装iproute2。
2023-12-12 09:50:16
429
原创 大数据Hive的安装与配置
3.修改apache-hive-3.1.3-bin.tar.gz的名称为hive。-- 指定hiveserver2连接的host -->-- 指定hiveserver2连接的端口号 -->-- jdbc连接的password -->-- jdbc连接的username-->--配置hcq用户能够代理的用户组为任意组-->--配置hcq用户能够代理的用户为任意用户-->-- jdbc连接的Driver-->-- 指定metastore服务的地址 -->-- jdbc连接的URL -->
2023-12-05 10:53:21
899
原创 大数据Hive的安装与配置
3.修改apache-hive-3.1.3-bin.tar.gz的名称为hive。-- 指定hiveserver2连接的host -->-- 指定hiveserver2连接的端口号 -->-- jdbc连接的password -->-- jdbc连接的username-->--配置hcq用户能够代理的用户组为任意组-->--配置hcq用户能够代理的用户为任意用户-->-- jdbc连接的Driver-->-- 指定metastore服务的地址 -->-- jdbc连接的URL -->
2023-12-05 10:52:26
806
原创 大数据Hive安装配置
3.修改apache-hive-3.1.3-bin.tar.gz的名称为hive。-- 指定hiveserver2连接的host -->-- 指定hiveserver2连接的端口号 -->-- jdbc连接的password -->-- jdbc连接的username-->--配置hcq用户能够代理的用户组为任意组-->--配置hcq用户能够代理的用户为任意用户-->-- jdbc连接的Driver-->-- 指定metastore服务的地址 -->-- jdbc连接的URL -->
2023-12-05 10:50:32
766
原创 十月笔记总结
在VMware中右击Centos7选择快照—->快照管理器—–>拍摄快照今天学习的Linux虚拟机的安装的配置,然后学了一些基本的linux命令,比如像ls显示当前目录下的文件及文件夹,创建文件或者文件夹,还有对文件查看内容.最近有点感冒,加上今天主要是弄了一下服务器,还有刚来学校的缘故,感觉状态不是很好,最近需要调整一下状态.cp命令:用于复制文件/文件夹,语法:cp [-r] 参数1 参数2-r 选项,可选,用于复制文件夹使用,表示递归参数1,Linux路径,表示被复制的文件或文件夹。
2023-12-05 10:04:52
838
原创 11月份笔记
/ 1. 创建不可变列表// 1. 创建可变列表今天学习了列表,Set,Map,元组,跟java中的定义其实是差不多的,就是多了可变和不可变的区别,在添加和合并的时候可以使用符号的方式,会让这些更加的简便,感觉在处理上Scala更加喜欢使用符号的方式进行拼接或者是添加减少元素,今天的内容来说不难,就是学习一下集合的一些书写的格式或者是添加和删除的方法.
2023-12-05 10:02:34
311
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人