- 博客(8)
- 收藏
- 关注
RSS订阅原创 数仓规范之create table
ORC和PARQUET主要区别在于ORC压缩率更高，PARQUET支持更广泛的数据类型和更多的数据系统。对于ORC可选择Snappy、Zlib压缩算法， Snappy压缩和解压性能更好，Zlib压缩比更高，需要注意的是Snappy不支持split，对并行计算会有影响；对于Parquet可选择Snappy、 Gzip、 LZO压缩算法，Gzip压缩比更高， Snappy压缩和解压性能更好，兼顾压缩比解压缩性能LZO更好。`sign_no` string COMMENT '签约协议号',
2024-08-12 15:06:51
292
原创 数仓表命名规范
格式举例：ods_mysql_bu_user_order_di，表示数据仓库中的ods层表，来源为mysql数据库，属于数据域bu，包含用户和订单信息，按天进行分区。- 层级：数据仓库中表的层级，包括：ods、dwd、dwc、dwb、dws、ads、dm、app、dim、tmp。格式举例：dws_hr_ba_labor_cost_budget_sum_mf (业务区人工成本预算表)格式举例：dwd_hr_talent_plan_dtl_di (人才规划明细表)ps: 无分区全量后缀使用"af"
2024-08-12 15:00:42
795
原创 hive相关参数设置
队列设置set mapreduce.job.queuename=quename;开启动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;压缩设置set mapred.compress.map.output=true;set hive.exec.compress.output=true;set mapred.output.compress=true;set mapred.o
2023-07-26 16:41:35
135
原创 StarRocks+Prometheus+Grafana安装部署
说明 root 为 StarRocks 默认内置 user，密码为空，端口为 fe/conf/fe.conf 中的 query_port 配置项，默认值为 9030。-----------------------------单机版实例----------------------------------，因为json文件是需要通过浏览器上传的，所以这里不是下载到Linux服务器上，而是需要下载到咱们打开Web所用的机器上。浏览器打开下载地址，右键，另存为，在桌面保存即可。
2023-05-29 16:34:13
1454
1
原创 Spark join什么时候不触发shuffle？
这样就可以避免shuffle，因为RDD的join实现是由cogroup方法完成的，cogroup中生成了CoGroupedRDD对象，如果它的partitioner和结果CoGroupedRDD的partitioner相同，则该rdd会成为CoGroupedRDD的一个oneToOne窄依赖，否则就是一个shuffle依赖，即宽依赖。， 默认为10MB，表示当join中的一张表的size小于10MB时，spark会自动将其封装为broadcast发送到所有结点，然后进行broadcast join。
2023-05-18 20:55:26
170
1
原创 linux服务器安装jupyter notebook并设置远程访问
就会自动在根目录下生成文件（~/.jupyter/jupyter_notebook_config.py）
2023-05-18 10:14:59
162
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人