storm_fury

Flink自身提供了远程提交任务的环境,源码如下:请查看StreamExecutionEnvironment 类中 createRemoteEnvironment 方法def createRemoteEnvironment( host: String, port: Int, parallelism: Int, jarFiles: String*): StreamExecutionEnvironment = { val javaEnv = JavaEnv.create

方法一: 使用 log4j.properties在 src/main/resources 中添加 log4j.properties 文件################################################################################# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements..

环境准备SQL Server 中创建测试库表CREATE DATABASE test;CREATE TABLE [dbo].[cdc_test] ( [id] int IDENTITY(1,1) NOT NULL, [name] varchar(60) COLLATE Chinese_PRC_CI_AS NOT NULL, CONSTRAINT [PK_cdc_tes...

flume-1.6a1.sources = r1 r2 r3a1.sinks = k1a1.channels = c1a1.sources.r1.type = execa1.sources.r3.shell = /bin/bash -ca1.sources.r3.command = tail -n +$(tail -n1 /root/data/log1) -F /var/log/...

Join 优化大表放右边,小表放左边。多个表关联时,最好分拆成小段,避免大sql大表 join 大表可采用 空 key 过滤、空key转换随机赋值使用 mapjoin开启 mapjoin 设置:设置自动选择Mapjoin，默认为trueset hive.auto.convert.join = true; 大表小表的阈值设置(默认25M以下认为是小表):set...

查看Cloudera Manager时区修改Cloudera Manager时区查看Cloudera Manager Server 服务器时区[root@cdh01 ~]# timedatectl Local time: 五 2019-05-24 12:19:36 UTC Universal time: 五 2019-05-24 12:19:...

简介Spark调度机制可以理解为两个层面的调度。Spark Application调度(Spark应用程序在集群中运行的调度,包括Driver调度和Executor调度)和单个Spark应用程序SparkContext的内部调度。SparkContext内部调度就是每个Spark Application都会有若干Jobs(Spark Actions)，然后这些job是以何种机制在Execu...

Java 编写 Producerpackage com.demo;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerConfig;...

在Java中，可以将一个类定义在另一个类或者一个方法里面，这样的类称为内部类。广泛意义上的内部类一般来说包括这四种：成员内部类、静态内部类、局部内部类和匿名内部类。成员内部类内部类作为外部类的一个成员变量，访问权限可以是任意的权限。成员内部类中不允许定义静态的成员(静态方法、静态属性)，实例化对象时需要借助外部类的对象完成。字节码文件名格式: 外部类$内部类.classpublic class OuterClass { public String name; // 定义成

环境准备配置 java 环境变量export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH创建 weblogic 用户及用户组[root@node00 ~]# mkdir -p /u01/weblogic[root@node00 ~]# ll[root@node00 ~]#..

import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionobject TestFileCopy { def main(args: Array[String]): Unit = { Logger.getLogger("org.a

参考: http://software.clapper.org/classutil/测试类:import com.project.dmp.utils.ClassUtilsimport org.clapper.classutil.ClassInfoimport org.clapper.classutil.ScalaCompat.LazyListimport org.junit.Testimport spire.std.mapclass ClassUtilTest { /** * 获

示例代码:object Test { def main(args: Array[String]): Unit = { import scala.util.control.Breaks._ println("=============== Continue ===================") for (i <- 1 to 10) { breakable { if (i % 2 == 0) { break

基于 MySQL 生成日期维度数据创建日期维度数据表DROP TABLE IF EXISTS `date_dim`;CREATE TABLE IF NOT EXISTS `date_dim` ( `date_sk` BIGINT ( 20 ) NOT NULL AUTO_INCREMENT, `date` VARCHAR ( 255 ) DEFAULT NULL, `month` VARCHAR ( 255 ) DEFAULT NULL, `month_name` ..

使用 Kudu Command Line Tools 将表数据复制到另一个表这两个表可在同一个集群中，也可在不同集群。但是这两个表必须具有相同的表模式，可以具有不同的分区模式。该工具可以使用与源表相同的表和分区模式创建新表。用法:kudu table copy <master_addresses> <table_name> <dest_master_addresses> [-nocreate_table] [-dst_table=<table>] [-n

在启用 Kudu-HMS 集成之前，要确保 Kudu 和 HMS 现有表的视图一致。这可能需要重命名Kudu表以符合Hive命名约束。在启用与 Hive Metastore 集成之前应升级现有 Kudu 表。准备升级在升级过程中，Kudu群集仍然可用。Kudu 和 Hive Metastore 中的表可能会更改或重命名。可以使用以下命令记录所有外部表并将其删除。这减少了与 Kudu 表发生命名冲突，导致升级过程中出现错误。升级完成后，重新创建外部表。[root@node01 ~]# sudo -

下载 imply 安装包[root@node01 opt]# wget https://static.imply.io/release/imply-3.3.3.tar.gz解压安装包并修改配置文件[root@node01 opt]# tar -xzf imply-3.3.3.tar.gz[root@node01 ~]# cd imply-3.3.3[root@node01 imply-3.3.3]# cd conf/druid/_common/[root@node01 imply-3...

RedisSinkDemo 代码import java.net.InetSocketAddressimport java.utilimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.redis.RedisSinkimport org.apache.flink.streaming.connectors.redis.common.config.FlinkJedisClu..

####### 创建 JsonKuduOperationsProducer.java 用于处理 Json 字符串写入Kuduimport com.alibaba.fastjson.JSON;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.FlumeException;import org.apache.flume.annotations.InterfaceAudience..

查询使用 from_unixtime 时，遇到如图所示情况:解决办法:默认 impala 配置不是中国的时区登录CM，进入Impala服务，进入配置项Cloudera Manager -> Impala -> 配置-> Impala Daemon -> 高级增加如下参数:-use_local_tz_for_unix_timestamp_conversions-convert_legacy_hive_parquet_utc_timestamps保存..