![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
采坑笔记
文章平均质量分 63
日常开发或者学习踩到的一些坑坑
KeinoJust
敷衍别人就是敷衍自己,如果对自己的输出尚且不认真,那么是没有人愿意停下脚步去欣赏的,你若盛开,蝴蝶自来~
展开
-
spark提交任务到odps无法打开spark ui界面
问题解决:提交命令加入spark ui等参数:spark-submit --master yarn-cluster \--conf spark.hadoop.odps.access.id='XXXXXXXX' \--conf spark.hadoop.odps.access.key='XXXXXXXX' \--conf spark.hadoop.odps.cupid.history.server.address='XXXXX' \--conf spark.hadoop.odps.cupid.pr原创 2021-12-08 17:28:58 · 791 阅读 · 0 评论 -
flink运行报错:未序列化
flink序列化相关报错问题解决运行代码报错内容解决方式问题深入为什么会抛出该错误为什么需要序列化该错误抛出源为什么要清理闭包问题解决运行代码public class JavaSourceEx { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironmen原创 2021-10-08 14:42:18 · 3590 阅读 · 0 评论 -
flink使用侧输出流OutputTag报错
flink使用侧输出流OutputTag报错一、问题前提二、代码三、报错信息四、解决方案五、深入5.1 思考5.2 探索报错信息5.3 Debug5.4 大胆假设5.5 小心论证一、问题前提熟悉flink过程中涉及到侧输出流应用方式,故在本地想运行一套测试逻辑将flink读取的流切分流两个,这里切分流的方式采用侧输出流实现。【侧输出流也大多可以用在窗口中或者join,当数据延迟或者connect或者join失败可以将该数据输入到侧输出流来进行下一步的逻辑处理。这里不进行展开描述】【flink】1.13原创 2021-09-18 11:54:52 · 2125 阅读 · 2 评论 -
使用gradle构建flink项目报错:Unable to find method ‘org.gradle.api
flink使用gradle报错一、前提介绍二、解决方案三、解决流程四、与人方便与己方便一、前提介绍本地gradle版本:7.1.1操作过程:当我构建flink官网上的项目时(下图项目),通过git在本地打开,并使用gradle进行下载依赖包时,报错如下:具体可能是org.gradle.api.artifacts.result.后面的组件不一样,但是其他报错信息应该大致都是如此。Unable to find method 'org.gradle.api.artifacts.result.Compon原创 2021-09-15 10:14:05 · 10339 阅读 · 2 评论 -
flink和kafka在docker中集成报错
flink和kafka在docker中集成报错????一、前提介绍⚠️二、问题罗列????1)docker build失败2)在docker容器内安装一些常见的命令如netstat、vim等3)使用apt-get安装报错 unable to locate XXX4)docker-compose up -d后发现flink报如下错:三、常见命令1)文件寻找是否存在某字符串2)移除全部停止的容器3)查看当前端口使用情况一、前提介绍⚠️本着深入学习flink的心态,搭建官网的flink运行demo,发现在do原创 2021-09-11 16:50:15 · 1060 阅读 · 0 评论 -
为什么mac设置环境变量无法生效?
MAC环境变量设置前提:解决:1、配置后不起作用2、加入export PATH后可以执行3、切换终端后无法执行4、问题解决感谢!前提:mac环境安装kafka,不想每次在kafka目录的bin下启动,而是想实现在各个目录都可以启动kafka,所以想设置kakfa为全局环境变量解决:1、配置后不起作用在~/.bash_profile文件中设置或执行命令source ~/.bash_profile发现不起作用,还是无法进行启动kakfaexport MAVEN_HOME=/Users/keino/D原创 2021-09-09 15:12:03 · 2518 阅读 · 0 评论 -
idea运行报错“A JNI error has occurred“
idea运行报错"A JNI error has occurred"前提:调试:总结:希望:前提:学习flink,从flink官网下载项目包后,想要运行程序时报错,如下:调试:1.本地java版本和javac 版本不一致,直接在idea Terminal本地打印:2.idea配置版本不一致,自查结果:是一致的3.是否可以运行print(123)? 发现可以运行4.看来不是版本的问题,classNotFound,寻找pom是不是没有引入对应的包? 发现依赖的scope属性是pro原创 2021-09-08 15:37:21 · 369 阅读 · 0 评论