weixin_53099973的博客

package TESTimport java.sql.{Connection, DriverManager, PreparedStatement}import java.utilimport java.util.Propertiesimport org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.sql.{DataFrame, Row, SparkSession}/*

代码如下package TESTimport org.apache.spark.sql.expressions.UserDefinedFunctionimport org.apache.spark.sql.functions._object Test5 { def main(args: Array[String]): Unit = { //写法一 给定参数类型和返回值类型 //切记udf[返回值类型,参数类型] 不要写反了 val xgsFunction1: Use

1 原始数据logPrint("Curves", Curves)Curves.show(10, false) ======================「Curves:30048」 ====================== +-----------------+----------------+------+-----+ |CIS_TRAN_ID |TRAN_ID |P |point| +-----------------+--

1// 创建推送kafka的对象 val kafkaProducer: Broadcast[KafkaSink[String, String]] = { val kafkaProducerConfig = { val p = new Properties() p.setProperty("bootstrap.servers", "25.50.192.184:20092,25.50.192.185:20094,25.50.192.186:20093")

1 任务包中的内容2 tran.job中内容3 tran.sh中内容4 最后将你的目录打包上传到Azkaban直接运行就可以了

1 简单概念1.1 定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2 Hbase数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。1.2.1 Hbase逻辑结构1.2.2 Hbase物理存储结构1.2.3 数据模型1.Name Space命名空间，类似于关系型数据库的DatabBase概念，每个命名空间下有多

1.Oracle建表drop table T_PSSC_TRAN_PORTRAIT_CENTER; create table T_PSSC_TRAN_PORTRAIT_CENTER(OBJ_ID VARCHAR(50) DEFAULT sys_guid() PRIMARY KEY,TRAN_ID VARCHAR(50),TRAN_NAME VARCHAR(25

1.写入hive的指定分区中写入数据ResulToOra2.createTempView("tmp") spark.sql( s""" |insert overwrite table pdr.T_PSSC_TRAN_PORTRAIT_CENTER partition(dt='${sdfDay.format(date)}') select * from tmp | """.stripMargin) pr

内容package TESTimport org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.functions.{desc, row_number}import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}o