- 博客(24)
- 收藏
- 关注
RSS订阅原创 flink sql报错The Job Result cannot be fetched through the Job Client when in Web Submission
提交flink sql任务时报错The Job Result cannot be fetched through the Job Client when in Web Submission。将代码中的.print()去掉再重新提交即可。
2024-01-12 16:10:28
395
原创 flink sql报错Cannot have more than one execute() or executeAsync() call in a single environment
执行flink sql时报错Cannot have more than one execute() or executeAsync() call in a single environment。
2024-01-12 15:45:12
525
原创 flink sql如何指定任务的jobname
flink1.12之前需要通过修改源码的方式指定flink的jobname，flink1.12之后，可以通过TableConfig config = tEnv.getConfig(); config.set("pipeline.name","flink-sql");的方式指定jobname。
2024-01-12 11:08:06
582
原创 Flink源码编译报错Plugin ‘com.github.hazendaz.spotbugs:spotbugs-maven-plugin:3.0.6‘ not found
Flink源码编译报错Plugin 'com.github.hazendaz.spotbugs:spotbugs-maven-plugin:3.0.6' not found，出现这个报错是因为缺少相关依赖，解放方法是去maven仓库下载对应jar包。
2024-01-10 15:04:12
402
原创 如何查看hdfs的fsimage文件
fsimage文件保存了hdfs文件系统在某一个时间点的所有目录和文件indode的序列化信息的快照，edits文件是hdfs文件系统的操作记录，当edits文件达到一定大小的时候会合并到fsimage文件中。可以通过hdfs命令将fsimage文件转换为csv或者xml文件进行查看。这里将fsimage文件转换为csv文件并上传到hdfs映射成hive表进行查看。fsimage文件保存了hdfs文件系统在某一个时间点的所有目录和文件indode的序列化信息的快照。
2024-01-03 11:38:11
368
1
原创 FLINK SQL 1.17.1读取KAFKA数据，实时计算后写入MYSQL
为了后续搭建实时数据做准备，测试使用FLINK SQL实时读取KAFKA数据，通过实时计算后，写入MYSQL。原始数据为仿造的保单表和险种表的数据，在kafka中创建两张贴源层表：保单表和险种表，再建一张关联表和一张汇总表，然后将数据写入mysql。
2023-11-09 10:57:15
973
1
原创 sqoop从mysql抽数到hive
sqoop import --connect "jdbc:mysql://10.9.134.14:3306/db_name?useSSL=false&useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull" --username test_user--password 'xxxxxx' --query "select * from table_namewhere \$CONDITIONS" --target-dir /
2023-04-27 09:13:06
272
原创 hive建表指定分隔符
CREATE TABLE test(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'LINES TERMINATED BY '\n'STORED AS TEXTFILE;
2023-04-27 08:47:21
156
原创 spark rdd算子分类-Transformatio算子和Action算子
spark rdd算子分类-Transformatio算子和Action算子
2023-03-09 15:29:31
61
原创 spark任务执行流程详细介绍之TaskScheduler和DagScheduler
spark任务执行流程详细介绍之TaskScheduler和DagScheduler
2023-03-08 18:03:40
188
原创 spark任务提交方式yarn-client和yarn-cluster对比
spark任务提交方式yarn-client和yarn-cluster对比
2023-03-08 16:08:45
672
原创 spark任务提交方式standalone-client和standalone-cluster对比
spark任务提交方式standalone-client和standalone-cluster对比
2023-03-06 17:49:25
338
原创 Spark Structured Streaming读写delta lake
Spark Structured Streaming读写delta lake
2023-03-06 09:57:15
431
原创 HIVE学习完整资料
本文详细介绍了大数据的hive组件，包含hive的功能、运用场景、具体安装和使用、调优、生产场景问题等，希望对刚入门或者想入门的小伙伴们有所帮助
2023-02-28 18:09:27
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人