![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sparksql
yostkevin
热爱编程,喜欢各种球类运动。
展开
-
hive 动态分区实战
1.建表CREATE TABLE `dws.dws_transaction_header_np`( `oneid` string COMMENT '用户唯一id', `transaction_header_id` string COMMENT '交易订单号(包括下单和退款的订单号)', `transaction_date` date COMMENT '交易日期', `cdp_data_source` string COMMENT 'cdp外部数据来源', `create_time`原创 2022-04-07 17:44:19 · 2163 阅读 · 1 评论 -
readDataToDf
package com.gree.testimport java.util.Propertiesimport com.gree.util.DmSparkimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.Pathimport org.apache.spark.sql.{DataFrame, R...原创 2019-02-12 22:02:59 · 270 阅读 · 0 评论 -
log4j配置
#在配置文件中需要配置3个内容:根目录,目的地,输出样式。logger:日志写出器,appender:日志目的地,layout:日志格式化器#log4j.rootLogger=INFO,Console,File,如果不要INFO则不会再控制台打印出INFO等信息,只会打印println()信息,INFO->根目录,Console,File->目的地,layout->输出样式...原创 2019-02-12 22:08:01 · 125 阅读 · 0 评论 -
spark 生态圈
spark:spark+carbondataspark+kuduspark+esspark+phoenixspark+hdfsspark+pgsql,gpcdh集成alluxiospark/hive/hbase+alluxio(内存型分布式系统)原创 2020-05-21 17:40:22 · 88 阅读 · 0 评论