sparksql
yostkevin
热爱编程,喜欢各种球类运动。
展开
-
hive 动态分区实战
1.建表 CREATE TABLE `dws.dws_transaction_header_np`( `oneid` string COMMENT '用户唯一id', `transaction_header_id` string COMMENT '交易订单号(包括下单和退款的订单号)', `transaction_date` date COMMENT '交易日期', `cdp_data_source` string COMMENT 'cdp外部数据来源', `create_time`原创 2022-04-07 17:44:19 · 2127 阅读 · 1 评论 -
readDataToDf
package com.gree.test import java.util.Properties import com.gree.util.DmSpark import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.Path import org.apache.spark.sql.{DataFrame, R...原创 2019-02-12 22:02:59 · 254 阅读 · 0 评论 -
log4j配置
#在配置文件中需要配置3个内容:根目录,目的地,输出样式。logger:日志写出器,appender:日志目的地,layout:日志格式化器#log4j.rootLogger=INFO,Console,File,如果不要INFO则不会再控制台打印出INFO等信息,只会打印println()信息,INFO->根目录,Console,File->目的地,layout->输出样式 ...原创 2019-02-12 22:08:01 · 116 阅读 · 0 评论 -
spark 生态圈
spark: spark+carbondata spark+kudu spark+es spark+phoenix spark+hdfs spark+pgsql,gp cdh集成alluxio spark/hive/hbase+alluxio(内存型分布式系统)原创 2020-05-21 17:40:22 · 79 阅读 · 0 评论