自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (5)
  • 收藏
  • 关注

原创 用户维度表(拉链表)

步骤0:初始化拉链表(首次独立执行)(1)建立拉链表hive (gmall)>drop table if exists dwd_dim_user_info_his;create external table dwd_dim_user_info_his(id string COMMENT ‘用户id’,name string COMMENT ‘姓名’,birthday string COMMENT ‘生日’,gender string COMMENT ‘性别’,email string

2021-05-24 00:35:28 490

原创 ClickHouse版行转列,列转行PK Hive

– 行转列,列转行一: hive版本孙悟空 白羊座 A大海 射手座 A宋宋 白羊座 B猪八戒 白羊座 A凤姐 射手座 A苍老师 白羊座 B结果如下:射手座,A 大海|凤姐白羊座,A 孙悟空|猪八戒白羊座,B 宋宋|苍老师SELECT t1.c_b , CONCAT_WS("|",collect_set(t1.name))FROM (SELECT NAME ,CONCAT_WS(’,’,constellatio

2021-05-23 19:07:50 3621

原创 ClickHouse版连续3天登陆SQL

a,2020-02-05,200a,2020-02-06,300a,2020-03-04,400a,2020-03-05,600b,2020-02-06,300b,2020-02-08,200b,2020-02-09,400b,2020-02-10,600c,2020-01-31,200c,2020-02-01,300a,2020-02-07,200a,2020-02-08,400a,2020-02-10,600b,2020-02-05,200a,2020-03-01,200a

2021-05-23 17:53:29 277

原创 kafka常用命令

1)查看当前服务器中的所有 topicbin/kafka-topics.sh --zookeeper hadoop100:2181 --list2)创建 topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first3)删除 topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --del

2021-04-06 18:37:31 166

原创 正则表达式语法

正则表达式语法字符 说明\ 将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如,“n"匹配字符"n”。"\n"匹配换行符。序列"\\“匹配”","\(“匹配”("。^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性,^ 还会与"\n"或"\r"之后的位置匹配。$ 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性,$ 还会与"\n"或"\r"之前的位置匹配。零次或多次匹配前面的字符或子表达式。例如,zo* 匹配"z

2021-04-02 23:47:03 99

原创 xcall.sh集群命令执行脚本

#!/bin/bashfor i in haotian@hadoop102 haotian@hadoop103 haotian@hadoop104doecho “=========== $i ===========”ssh $i ‘/opt/module/jdk1.8.0_144/bin/jps’done

2021-04-02 23:39:22 158

原创 xsync集群分发脚本

#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=basename $p1echo fname=$fname#3 获取上级目录到绝对路径pdir=cd -P $(dirname $p1); pwdecho pdir=$pdir#4 获取当前用户名称user=whoami#5 循环for((host=103; host&

2021-04-02 23:34:42 66

aesUDF-1.0-SNAPSHOT.jar

udf函数包含hive 1.1.0CDH5.7.1依赖

2021-06-26

aesUDF-1.0-SNAPSHOT.jar

AES解密UDF函数

2021-06-26

拉链表重复跑数据错误解决.docx

拉链表重复跑数据错误解决

2021-05-24

maxwell-1.25.0.tar.gz

maxwell-1.25.0.tar.gz

2021-04-10

Spark.md详细文档

Sparkmd文档笔记

2021-04-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除