- 博客(9)
- 收藏
- 关注
RSS订阅原创 spark代码 读、写、删除 postgresql数据库
package TESTimport java.sql.{Connection, DriverManager, PreparedStatement}import java.utilimport java.util.Propertiesimport org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.sql.{DataFrame, Row, SparkSession}/*
2021-11-26 15:54:09
2394
原创 spark的自定义函数
代码如下package TESTimport org.apache.spark.sql.expressions.UserDefinedFunctionimport org.apache.spark.sql.functions._object Test5 { def main(args: Array[String]): Unit = { //写法一 给定参数类型和返回值类型 //切记udf[返回值类型,参数类型] 不要写反了 val xgsFunction1: Use
2021-09-13 17:40:30
244
原创 spark dataframe 行转列与列转行
1 原始数据logPrint("Curves", Curves)Curves.show(10, false) ======================「Curves:30048」 ====================== +-----------------+----------------+------+-----+ |CIS_TRAN_ID |TRAN_ID |P |point| +-----------------+--
2021-09-13 17:13:52
1283
原创 Spark dataframe写入kafka
1// 创建推送kafka的对象 val kafkaProducer: Broadcast[KafkaSink[String, String]] = { val kafkaProducerConfig = { val p = new Properties() p.setProperty("bootstrap.servers", "25.50.192.184:20092,25.50.192.185:20094,25.50.192.186:20093")
2021-09-09 15:21:32
1579
1
原创 Spark任务在Azkaban多次运行脚本（前提你的任务支持修改日期，运行）
1 任务包中的内容2 tran.job中内容3 tran.sh中内容4 最后将你的目录打包上传到Azkaban直接运行就可以了
2021-09-06 10:12:17
182
原创 hbase shell操作以及简单入门（尚硅谷自学总结）
1 简单概念1.1 定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2 Hbase数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。1.2.1 Hbase逻辑结构1.2.2 Hbase物理存储结构1.2.3 数据模型1.Name Space命名空间，类似于关系型数据库的DatabBase概念，每个命名空间下有多
2021-09-03 14:55:27
525
原创 Oracle、Hive建表语句
1.Oracle建表drop table T_PSSC_TRAN_PORTRAIT_CENTER; create table T_PSSC_TRAN_PORTRAIT_CENTER(OBJ_ID VARCHAR(50) DEFAULT sys_guid() PRIMARY KEY,TRAN_ID VARCHAR(50),TRAN_NAME VARCHAR(25
2021-09-01 10:23:21
530
原创 spark dataframe写入hive、hdfs、es、oracle
1.写入hive的指定分区中写入数据ResulToOra2.createTempView("tmp") spark.sql( s""" |insert overwrite table pdr.T_PSSC_TRAN_PORTRAIT_CENTER partition(dt='${sdfDay.format(date)}') select * from tmp | """.stripMargin) pr
2021-08-31 15:40:37
2316
2
原创 spark开窗函数的两种写法
内容package TESTimport org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.functions.{desc, row_number}import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}o
2021-08-30 18:26:49
409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人