SPARK connector 接口程序

package com.szl.miner.api.connector;

import org.apache.hadoop.conf.Configuration;

/**
 * Created by liao on 15-5-4.
 */
public interface SparkConnector extends ClosableConnector {

    /**
     * 指定spark应用名.
     *
     * @param appName Application name.
     */
    public void setAppName(String appName);

    /**
     * 指定需要运行在哪个master上.
     *
     * @param master yarn resource manager url.
     */
    public void setMaster(String master);

    /**
     * 设置hadoop core-site.xml hdfs-site.xml.
     *
     * @param conf hadoop 配置.
     */
    public void setConfig(Configuration conf);

    /**
     * 设置运行app的源代码jar包
     *
     * @param resource Path to the main application resource.
     */
    public void setAppResource(String resource);

    /**
     * 设置app的主类完整类名.
     *
     * @param mainClass Application's main class.
     */
    public void setMainClass(String mainClass);

    /**
     * 设置spark driver程序内存大小
     *
     * @param driverMemory spark driver程序内存大小
     */
    public void setDriverMemory(String driverMemory);

    /**
     * 主程序所需要的参数.
     *
     * @param args Arguments to pass to the application's main class.
     */
    public void addAppArgs(String... args);

    /**
     * 添加app运行所需的jar包.
     *
     * @param jar Path to the jar file.
     */
    public void addJars(String jar);


    /**
     * 提交app job到yarn
     */
    public void submit();

    /**
     * 调用submit之后,等待任务结束
     * @throws ConnectorException
     */
    public void waitfor() throws ConnectorException;

    /**
     * 提交app job到yarn,并等待job结束
     *
     * @throws ConnectorException
     */
    public void run() throws ConnectorException;

    /**
     * 获取job状态
     *
     * @return job状态
     */
    public String getState();

    /**
     * 获取job 在yarn上的ApplicationId
     *
     * @return yarn上的ApplicationId
     */
    public String getApplicationId();

    /**
     * 获取job任务结束时的返回信息
     *
     * @return job任务结束时的返回信息
     */
    public String getErrorMessage();

    /**
     * 获取job结束后的状态
     *
     * @return job结束后的状态
     */
    public String getFinalState();
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值