依旧的博客

在调度sqoop同步hive分区表时出的错误解决方式：检查sqoop/conf目录是否有hive-site.xml没有就从hive/conf目录下拷贝cp $HIVE_HOME/conf/hive-site.xml $SQOOP_HOME/conf检查sqoop/lib是否存在以下hive依赖包

查看最近一次日志在azkaban目录下vim 日志文件找到最下边的一个Caused by：从可能原因可以看出是mysql的azkaban用户对azkaban数据库拒绝访问解决方式：使用root用户登录mysql授权 azkaban用户访问azkaban数据库grant all privileges on 'azkaban'.* to 'azkaban'@'%';成功解决开启进程秒退问题...

问题一、> Failed to apply plugin [id 'com.cinnober.gradle.semver-git']解决方式：安装gityum -y install git问题二、> Task :az-crypto:testazkaban.crypto.DecryptionTest > testV1_1 FAILED java.lang.RuntimeException: java.lang.RuntimeException: o...

通过配置文件向全局传递参数（变量）示例：1、windows上创建一个chuansan.job和一个配置文件cs.propertieschuansan.jobtype=commandcommand=sh /test/test.sh ${a} ${b}cs.properties配置文件要是properties文件，文件名可以自定义a=我是参数ab=我是参数b2、在Linux编写脚本test.shtest.shecho $2.$1 > /test/.

​​​​​​一、shellcommand调度创建job描述文件vi command.job#command.jobtype=command command=echo 'hello'将job资源文件打包成zip文件zip command.job通过azkaban的web管...

一、solo-server模式部署1、节点规划 HOST 角色 node01 Web Server和Executor Server同一进程 2、解压配置mkdir /export/servers/azkabantar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.t...

工作流1、工作流产生背景工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数据采集、数据预处理、数据分析、数据展示等。各...