![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据中台
文章平均质量分 63
Kevinniec
聂雄超,2019年毕业于武汉大学,取得硕士学位,目前就职于深圳TCL华星光电技术有限公司,担任大数据研发工程师,主要从事实时数仓方面的研发工作。
展开
-
Starrocks(2.0.1) vs clickhouse (20.4.2.9)集群 SSB性能测试对比
Starrocks(2.0.1) vs clickhouse (20.4.2.9)集群 SSB性能测试对比Star schema benchmark(以下简称SSB)是学术界和工业界广泛使用的一个星型模型测试集(来源[论文](https://www.cs.umb.edu/~poneil/StarSchemaB.PDF)),通过这个测试集合可以方便的对比各种OLAP产品的基础性能指标。原创 2022-02-24 12:24:32 · 2360 阅读 · 0 评论 -
addax (原datax)之udf函数使用
addax udf函数的使用内置函数dx_substr¶dx_substr(idx, pos, length) -> str参数idx: 字段编号,对应record中第几个字段pos: 字段值的开始位置length: 目标字段长度返回: 从字符串的指定位置(包含)截取指定长度的字符串。如果开始位置非法抛出异常。如果字段为空值,直接返回(即不参与本transformer)dx_pad¶dx_pad(idx, flag, length, chr)参数idx: 字段编原创 2022-02-18 14:37:04 · 925 阅读 · 0 评论 -
windows本地idea配置hive_site.xml,路径格式
<property> <name>hive.aux.jars.path</name> <!--<value>file:///opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/phoenix-5.0.0-cdh6.2.0-hive.jar</value>--> <value>file:/E:/csot/code/csot-spar.原创 2021-04-16 09:17:27 · 383 阅读 · 0 评论 -
数据仓库ETL流程
ETL过程:origin:数据来源,文件+数据库,origin->tmp(中间层)ods层:数据源层,将origin数据导入到系统的层,tmp->odsdw层:数据仓库,将ods层数据数据整合层,ods->dwdm:数据集市,支持外部应用...原创 2019-08-02 11:07:31 · 2786 阅读 · 0 评论 -
hiveSQl学习
语法:https://blog.csdn.net/hguisu/article/details/7256833Hive入门及常用指令:https://blog.csdn.net/u014236541/article/details/78245924外部表与内部表区别:https://blog.csdn.net/qq_36743482/article/details/78393678创建...原创 2019-08-02 11:45:57 · 481 阅读 · 0 评论