Flink1.11中Application模式java代码启动遇到的一些问题以及解决方案

Flink1.11通过java代码方式运行Application模式遇到的问题及解决方案:

1.flink-yarn_2.11-1.11.0.jar与maven导入jar包冲突

pom找到对应的dependency进行exclusion即可

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-yarn_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
        </exclusion>
    </exclusions>
</dependency>

2.Flink1.11无法找到本地导入的core-site

org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration();
conf.addResource(new Path("core-site.xml"));
FileSystem fs = FileSystem.get(conf);

3.flink启动报错:

Exception in thread "main" java.net.ConnectException: Call From caiyong/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

修改core-site.xml中fs.defaultFS的value为HDFS namenode的路径:端口号即可

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ip:port</value>
    </property>
</configuration>
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值